CN108205656A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN108205656A
CN108205656A CN201711146459.2A CN201711146459A CN108205656A CN 108205656 A CN108205656 A CN 108205656A CN 201711146459 A CN201711146459 A CN 201711146459A CN 108205656 A CN108205656 A CN 108205656A
Authority
CN
China
Prior art keywords
mentioned
information
range
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711146459.2A
Other languages
English (en)
Inventor
野中雄
野中雄一
渡边昭信
上村俊夫
味松康行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hlds Light Science And Technology Co Ltd
Hitachi LG Data Storage Inc
Original Assignee
Hlds Light Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hlds Light Science And Technology Co Ltd filed Critical Hlds Light Science And Technology Co Ltd
Publication of CN108205656A publication Critical patent/CN108205656A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提供一种图像处理装置及图像处理方法，能使用对被摄体进行了拍摄的距离图像，同时把握与被摄体的整体动作相关的信息和与被摄体的一部分的细微动作相关的信息。图像处理装置具备：从对被摄体的第一范围进行了拍摄的第一距离图像，获得作为与被摄体的部位相关的信息的第一部位信息，从对被摄体的比第一范围窄的第二范围进行了拍摄的第二距离图像，获得作为与被摄体的部位相关的信息的第二部位信息，基于第一部位信息及第二部位信息，求出作为进行第一部位信息中的第一坐标系与第二部位信息中的第二坐标系之间的坐标转换的函数的转换函数，基于转换函数，生成作为在相同的坐标系表示了第一部位信息和第二部位信息的信息的合成部位信息。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法。
背景技术
在专利文献1中记载了“提供一种能容易地进行电子病历的信息输入的医用信息处理系统、医用信息处理装置及医用图像诊断装置”、“医用信息处理系统具备获得机构、抽出机构、选择机构以及显示控制机构”、“获得机构获得包括作为动作获得的对象的对象者的关节的位置信息的动作信息。抽出机构基于由上述获得机构获得的对象者的动作信息中的关节的位置信息抽出患部。选择机构选择由上述抽出机构抽出的与患部相关的相关信息。显示控制机构以利用显示部显示由上述选择机构选择的关联信息的方式进行控制”。
在专利文献2中记载了“提供一种能以高精度识别由距离图像传感器所摄的视野角内的人物的动作的图像识别装置及具备该图像识别装置的电梯装置”、“从身体的一部分从视野角偏出的距离图像抽出偏出状态的动作特征量，并且根据该偏出状态的动作特征量和身体从视野角偏出的量推断身体未从视野角偏出的状态的动作特征量。即使在人物的身体的一部分从距离图像的视野角偏出时，也能接近人物的身体未从距离图像的视野角偏出的情况的动作特征量，能提高图像识别的可靠性”。
现有技术文献
专利文献1：日本特开2014-130519号公报
专利文献2：日本特开2014-21816号公报
以往，关于距离图像传感器进行了在多种领域的应用。距离图像传感器能实时地获得立体的位置信息，还尝试对人的行动解析的应用。在此，在使用了距离图像的人的行动解析中，存在关于同时把握人在哪种场所如何移动之类的与被摄体的整体的(俯瞰的)动作相关的信息(整体感)和在人的手边、脚下进行哪种作业之类的与被摄体的一部分的细微动作相关的信息的需求，但上述专利文献1、2均未公开考虑了这种需求的结构。
发明内容
本发明的目的在于使用对被摄体进行了拍摄的距离图像，能同时把握与被摄体的整体的动作相关的信息和与被摄体的一部分的细微的动作相关的信息的图像处理装置及图像处理方法。
本发明的方案之一是图像处理装置，具备：从对被摄体的第一范围进行了拍摄的第一距离图像，获得作为与上述被摄体的部位相关的信息的第一部位信息的第一部位信息获得部；从对上述被摄体的比上述第一范围窄的第二范围进行了拍摄的第二距离图像，获得作为与上述被摄体的部位相关的信息的第二部位信息的第二部位信息获得部；基于上述第一部位信息及上述第二部位信息，求出作为进行上述第一部位信息中的第一坐标系和上述第二部位信息中的第二坐标系之间的坐标转换的函数的转换函数的转换函数生成部；以及基于上述转换函数，生成作为在相同的坐标系表示了上述第一部位信息和上述第二部位信息的信息的合成部位信息的合成部位信息生成部。
除此之外，关于本申请公开的课题及其解决方法，根据用于实施发明的方式的栏及附图变得明确。
本发明的效果如下。
根据本发明，能使用对被摄体进行了拍摄的距离图像，同时把握与被摄体的整体的动作相关的信息和与被摄体的一部分的细微的动作相关的信息。
附图说明
图1是表示第一实施方式的图像处理系统的结构的图。
图2是构成图像处理装置、判断装置的信息处理装置的一例。
图3是说明第一部位信息的图。
图4是说明第二部位信息的图。
图5是说明转换函数的求法的图。
图6是说明合成部位信息的图。
图7是表示第二实施方式的图像处理系统的结构的图。
图8是表示第三实施方式的图像处理系统的结构的图。
图9是表示第四实施方式的图像处理系统的结构的图。
图中：1—图像处理系统，2—人，3—固定器具，7—标记，11—第一距离图像获得装置，12—第二距离图像获得装置，13—第一接收部，14—第二接收部，15—立体传感器，50—信息处理装置，100—图像处理装置，101—第一部位信息获得部，102—第二部位信息获得部，103—转换函数生成部，104—合成部位信息生成部，105—设置状态信息存储部，106—第一标记位置信息获得部，107—第二标记位置信息获得部，108—合成距离图像生成部，109—部位信息生成部，200—判断装置，201—动作分析部，202—动作模型存储部，301～304—关节部位，401～404—关节部位，501～502—关节部位。
具体实施方式
下面，关于实施方式进行说明。在以下的说明中，存在关于相同或类似的结构使用相同的符号并省略了重复的说明的情况。
[第一实施方式]
图1表示作为第一实施方式表示的图像处理系统1的概略的结构。如该图所示，图像处理系统1包括第一距离图像获得装置11、第二距离图像获得装置12以及图像处理装置100。另外，在以下的说明中，适当将第一距离图像获得装置11、第二距离图像获得装置12总称为“距离图像获得装置”。
距离图像获得装置关于被摄体(对象物)获得作为包括立体的位置信息(距离信息(Depth信息)、距离信号等)的数据的距离图像(depth图像、range image data)。距离图像例如包括像素(像素(pixel))信息(与深淡程度、色调相关的信息等)、关于各像素获得的距离信息。作为距离图像获得装置的例子，具有飞行时间(TOF：Time Of Flight)摄像机、立体摄像机、激光雷达(LIDAR：Laser Imaging Detection and Ranging)、毫米波雷达、红外线深度传感器、超声波传感器等。
距离图像获得装置具备用于与图像处理装置100通信的、有线或无线的通信机构(LAN接口(Local Area Network Interface)、USB接口(Universal Serial BusInterface)、无线通信模块等)。距离图像获得装置通过上述通信机构将为压缩形式、非压缩形式的距离图像发送到图像处理装置100。
如该图所示，第一距离图像获得装置11以获得包括作为被摄体的人2的全身(整体)及其背景的第一范围的距离图像(以下称为第一距离图像)的方式设定其设置位置、拍摄方向、拍摄范围等。另一方面，第二距离图像获得装置12以获得关于比第一范围窄的人2的一部分(第二范围)的距离图像(以下称为第二距离图像)的方式设定其设置位置、拍摄方向、拍摄范围等。由第二距离图像获得装置12获得的第二距离图像包括关于人2的一部分的细微的信息。第二距离图像获得装置12设于接近人2的位置，例如设于人2带在身上的物体(安全帽等)等。
图像处理装置100使用信息处理装置而构成，进行从距离图像获得装置输入的关于距离图像的各种图像处理、从距离图像获得装置发送来的距离图像所含的、与被摄体的部位(骨骼、关节、轮廓等)相关的信息(以下称为部位信息)的获得、作为将从第一距离图像获得的部位信息和从第二距离图像获得的部位信息合成了的信息的合成部位信息的生成等。
图2是构成图像处理装置100的信息处理装置的一例。如该图所示，信息处理装置50具备信息处理机51、主存储装置52、辅助存储装置53、输入装置54、输出装置55以及通信装置56。这些通过软线等通信机构能互相通信地连接。
信息处理机51例如使用CPU(Central Processing Unit)、MPU(Micro ProcessingUnit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等而构成。信息处理机51通过读取并执行存储在主存储装置52中的程序，实现图像处理装置100的全部或一部分的功能。主存储装置52例如是ROM(Read Only Memory)、RAM(Random AccessMemory)、非易失性半导体存储器(NVRAM(Non Volatile RAM))等，存储程序、数据。
辅助存储装置53例如是硬盘驱动器、SSD(Solid State Drive)、光学式存储装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、存储系统、IC卡、SD存储卡、光学式存储介质等存储介质的读取/写入装置等。存储在辅助存储装置53中的程序、数据随时被载入主存储装置52。辅助存储装置53例如如网络存储器那样为与图像处理装置100独立的构成。
输入装置54是接受外部输入的用户接口，例如是键盘、鼠标、触摸面板等。输出装置55是将处理经过、处理结果等各种信息向外部提供的用户接口，例如是图像显示装置(液晶监视器、LCD(Liquid Crystal Display)、图形卡等)、打印装置等。另外，例如图像处理装置100可以为通过通信装置56接受外部输入的构成。另外，例如，图像处理装置100可以为通过通信装置56向外部提供处理经过、处理结果等各种信息的构成。
通信装置56是实现与其他装置、元件之间的通信的有线方式或无线方式的通信接口，例如是NIC(Network Interface Card)、无线通信模块等。
如图1所示，图像处理装置100具备第一接收部13、第一部位信息获得部101、第二接收部14、第二部位信息获得部102、转换函数生成部103以及合成部位信息生成部104的各功能。这些功能例如通过图像处理装置100的信息处理机51读取并执行主存储装置52、辅助存储装置53所存储的程序而实现。另外，这些功能例如通过图像处理装置100具备的硬件(FPGA(Field-Programmable Gate Array))、ASIC(Application Specific IntegratedCircuit等)实现。另外，图像处理装置100除了这些功能外，例如可以具备控制盘系统、设备驱动器、DBMS(Data Base Management System)等。
上述功能中、第一接收部13接收从第一距离图像获得装置11发送来的第一距离图像。另外，第二接收部14接收从第二距离图像获得装置12发送来的第二距离图像。另外，第一接收部13及第二接收部14可以为与图像处理装置100独立的构成。
第一部位信息获得部101从由第一距离图像获得装置11获得的第一距离图像获得人2的部位信息，生成包括所获得的内容的第一部位信息。第一部位信息获得部101例如通过骨骼检测(骨架检测)、轮廓检测、关节检测等获得第一部位信息。第一部位信息包括在第一坐标系中表示的、表示部位的位置的信息。
图3是第一部位信息的一例(图像图)。如该图所示，该第一部位信息包括人2的整体(全身)的骨骼信息。
第二部位信息获得部102根据由第二距离图像获得装置12获得的第二距离图像获得人2的部位信息，生成包括所获得的内容的第二部位信息。第二部位信息获得部102例如通过骨骼检测(骨架检测)、轮廓检测、关节检测等获得第二部位信息。第二部位信息包括在第二坐标系中表示的、表示部位的位置的信息。
图4是第二部位信息的一例(图像图)。如该图所示，所示例的第二部位信息包括从人2的手腕到手尖的骨骼信息。
转换函数生成部103基于第一部位信息和第二部位信息，求出作为进行第一部位信息中的立体的第一坐标系和第二部位信息中的立体的第二坐标系之间的坐标转换的函数的转换函数。
更详细地说，转换函数生成部103首先特定第一部位信息所包含的部位和第二部位信息所包含的部位的对应，即特定第一部位信息所含的部位之一和第二部位信息所含的部位之一是同一人的同一部位。例如，转换函数生成部103基于第一部位信息和第二部位信息，特定图3的关节部位301～304的各个和图4的关节部位401～404的各个的对应，即特定是同一人物的同一关节部位。另外，作为上述特定的方法，例如具有利用ICP(IterativeClosest Point)的方法、利用特征点的方法等。并且，转换函数生成部103以特定的部位为基准，求出作为进行第一坐标系和第二坐标系之间的坐标转换的函数的转换函数。
与图5一起关于转换函数的求出方法进行说明。如该图所示，由第一距离图像获得装置11获得的第一距离图像所含的部位在第一坐标系(x1、y1、z1)中表示，另外，由第二距离图像获得装置12获得的第二距离图像所含的部位在第二坐标系(x2、y2、z2)中表示。在该情况下，转换函数是将在第二坐标系(x2、y2、z2)中表示的位置坐标转换为第一坐标系(x1、y1、z1)的位置坐标的函数。在此，例如关于图3的关节部位301(x1a、y1a、z1a)、关节部位302(x1b、y1b、z1b)、关节部位303(x1c、y1c、z1c)、关节部位304(x1d、y1d、z1d)以及图4的关节部位401(x2a、y2a、z2a)、关节部位402(x2b、y2b、z2b)、关节部位403(x2c、y2c、z2c)、关节部位404(x2d、y2d、z2d)，在判断为关节部位301与关节部位401对应、关节部位302与关节部位402对应、关节部位303与关节部位403对应、关节部位304与关节部位404对应的情况下，转换函数生成部103将满足
(x1a、y1a、z1a)＝F(x2a、y2a、z2a)
(x1b、y1b、z1b)＝F(x2b、y2b、z2b)
(x1c、y1c、z1c)＝F(x2c、y2c、z2c)
(x1d、y1d、z1d)＝F(x2d、y2d、z2d)
的函数F(x、y、z)求出为转换函数。
返回图1，合成部位信息生成部104使用转换函数生成部103求出的转换函数合成第一部位信息和第二部位信息，生成作为在相同的坐标系中表示第一部位信息和第二部位信息的信息的合成部位信息。另外，上述函数F(x、y、z)将第二坐标系转换为第一坐标系，但合成部位信息中的坐标系也可以为第一坐标系及第二坐标系的任一个。
图6是合成图3所示的第一部位信息(人2的整体(全身)的骨骼信息)和图4所示的第二部位信息(从人2的手腕到手尖的骨骼信息)而得到的合成部位信息(图像图)。合成部位信息生成部104连接(接合)图3的关节部位301及关节部位302(第一部位信息)和图4的关节部位401及关节部位402(第二部位信息)，并且连接(接合)图3的关节部位303及关节部位304(第一部位信息)和图4的关节部位403及关节部位404(第二部位信息)，从而生成该图所示的合成部位信息。
图像处理装置100例如基于从第一距离图像获得装置11及第二距离图像获得装置12的各个依次输入的、时间序列的第一距离图像和时间序列的第二距离图像，生成包括了表示人2的动作的信息的、时间序列的合成部位信息。
另外，在无法获得对生成合成部位信息(生成转换函数)充分的数量、第一部位信息所含的部位和第二部位信息所含的部位的对应的情况下，无法生成合成部位信息，但在该情况下，例如合成部位信息生成部104将第一部位信息及第二部位信息中的任一个作为合成部位信息而生成。通过这样，能从图像处理装置100总是输出合成部位信息。另外，在该情况下，图像处理装置100可以将第一部位信息及第二部位信息中的任一方优先输出。
如上所述，根据本实施方式的图像处理系统1，能将包括由第一距离图像获得装置11获得的第一距离图像所含的信息以及由第二距离图像获得装置12获得的第二距离图像所含的信息的双方的信息作为一个合成部位信息而生成。由此，作为在相同的坐标系中表示的一个数据能同时提供例如包括与人2的整体的动作相关的三人称视点的骨骼信息和与人2的手尖的细微动作相关的一人称视点的骨骼信息的双方的信息。因此，能同时把握例如人2在哪个场所如何移动之类的与人2的整体的(俯瞰的)动作相关的信息(整体感)和在人2的手边、脚下进行哪种作业之类的与人2的一部分的细微的动作相关的信息。
另外，在本实施方式的图像处理系统1中，由于限定各个距离图像获得装置的作用(关于第一距离图像获得装置11，专门获得与人2的整体的动作相关的信息，关于第二距离图像获得装置12，专门获得与人2的手尖的细微的动作相关的信息)，因此作为各个距离图像获得装置，不需要使用高性能的装置(高分辨率的装置、视角广的装置等)，能以低成本实现图像处理系统1。另外，由于未对各个距离图像获得装置要求高的分辨率，因此能抑制图像处理系统1所处理的信息量，能实现处理负荷的降低、处理的高速化。
另外，第一距离图像获得装置11及第二距离图像获得装置12的设置方式(设置位置、拍摄方向、拍摄范围)并未限定于以上的方式。例如，可以将第一距离图像获得装置11及第二距离图像获得装置12的双方或一方设置于移动体。另外，也可以通过时间带切换第一距离图像获得装置11及第二距离图像获得装置12的各自的作用。
另外，在以上，列举了第二距离图像获得装置12获得与人2的手边的细微的动作相关的信息的情况，但第二距离图像获得装置12例如也可以获得与脚边等人2的其他部分的细微的动作相关的信息，本实施方式的图像处理系统1能广泛应用于多种场所。
[第二实施方式]
图7表示作为第二实施方式表示的图像处理系统1的结构。第二实施方式的图像处理系统1具备与第一实施方式的图像处理系统1相同的结构，并且还具备基于图像处理装置100输出的合成部位信息进行人2的动作的特定、判断人2的动作是否正常的判断装置200。判断装置200例如构成为使用与图2所示的信息处理装置50相同的硬件。另外，可以将判断装置200构成为图像处理装置100的一部分。关于第二实施方式的图像处理系统1的其他结构，与第一实施方式的图像处理系统1相同。
如该图所示，判断装置200具备动作分析部201及动作模型存储部202的各功能。这些功能例如通过判断装置200的信息处理机读取并执行存储在判断装置200的主存储装置、辅助存储装置中的程序而实现。另外，这些功能例如通过判断装置200具备的硬件(FPGA、ASIC等)实现。另外，判断装置200除了这些功能以外，例如具备控制盘系统、设备驱动器、DBMS等。
在上述功能中，动作模型存储部202存储作为将人进行的动作表示为时间序列的部位信息的信息的动作模型。
向动作分析部201输入由图像处理装置100生成的合成部位信息。动作分析部201基于从图像处理装置100输入的合成部位信息和动作模型存储部202所存储的动作模型，进行人2的动作的特定、人2的动作是否正常的判断，并将其结果作为处理结果输出。
例如，动作模型存储部202存储由时间序列的骨骼信息表示人进行作业时的动作的动作模型。并且，动作分析部201通过使从合成部位信息获得的特征量与动作模型进行比较，特定人2进行的作业，并将特定后的结果作为处理结果输出。
另外，例如动作模型存储部202存储将通过机械学习等生成的、人正常地进行作业时的动作表示为时间序列的骨骼信息的动作模型(以下称为正常模型)、用于通过该正常模型判断人2进行的作业是否正常的阈值。并且，动作分析部201通过基于正常模型和阈值，使从合成部位信息获得的特征量与正常模型进行比较，判断人2进行的作业是否正常，并将判断结果作为处理结果输出。另外，在判断为人2进行的作业不正常时，判断装置200对本人、周边存在的人等输出警告(警告显示、声音警报等)。
根据第二实施方式的图像处理系统1，能基于包括与人2的整体的动作相关的信息和与人2的一部分的细微的动作相关的信息的合成部位信息，高精度地进行人2的动作的特定、人2的动作是否正常的判断。例如，能高精度地特定在工场等中作业员进行的作业(作业员在哪个设备前以哪种姿势进行作业等)。另外，例如能高精度地判断作业员进行的作业是否正常(作业员是否未采取危险的行动等)。例如，能得到作业员是否进行了偏离的动作、在作业方面是否产生了迟滞之类的信息。另外，例如在护理设施、医院等中，能高精度地特定被护理者、患者的动作。另外，例如能高精度地判断被护理者、患者的动作(例如从床上起来的动作、吃饭时的动作等)是否正常。另外，例如能在顾客出入的店铺等中，能高精度地特定顾客的动作，能详细地进行顾客的行动解析(对哪种商品感兴趣等)。另外，例如能高精度地判断顾客的动作是否正常(是否未采取可疑的行动等)。
另外，在以上，表示了距离图像获得装置是两个(第一距离图像获得装置11及第二距离图像获得装置12)的情况，但可以使用更多的距离图像获得装置。例如，如果从多个方向(正面侧、背面侧等)对人2进行拍摄，则能以更高的精度把握人2的动作，能以更高精度判断人2的动作是否正常。另外，在该情况下，在合成部位信息中包括从距离图像获得的信息，该距离图像从设置位置、拍摄方向、摄影范围等不同的多个距离图像处理装置发送来，因此，能从多种观点精细地设定特征量，能高精度地进行人2的动作的特定、人2的动作是否正常的判断。
[第三实施方式]
图8表示作为第三实施方式表示的图像处理系统1的结构。第三实施方式的图像处理系统1以第二实施方式的图像处理系统1的结构为基本。第三实施方式的图像处理系统1的第一距离图像获得装置11固定在以距地面预定的高度竖立设置的固定器具3的上端附近。第三实施方式的图像处理装置100除了第二实施方式的图像处理装置100的结构外，还具备设置状态信息存储部105。另外，向第三实施方式的图像处理装置100的转换函数生成部103输入从安装于人2的立体传感器15发送来的计测值(或计测信号)。立体传感器15例如包括倾斜传感器、加速度传感器、回转传感器、方位传感器中的至少任一个，获得表示第二距离图像获得装置12的拍摄方向的信息(以下称为第二设置状态信息)并将上述计测值发送到图像处理装置100。立体传感器15以能计测第二距离图像获得装置12的状态的方式例如在直接装备在人2(例如安装于安全帽)的状态下设置。另外，关于第三实施方式的图像处理系统1的其他结构，与第二实施方式的图像处理系统1相同。
设置状态信息存储部105对表示设置在固定器具3上的第一距离图像获得装置11的设置状态(相对于高度、拍摄方向、水平方向的角度等)的信息(以下称为第一设置状态信息)进行存储。
转换函数生成部103例如通过对设置状态信息存储部105所存储的设置状态信息和从立体传感器701输入的信息进行比较，求出第一距离图像获得装置11的拍摄方向和第二距离图像获得装置12的拍摄方向的差，使用求出的值(差)计算转换函数。
这样，第三实施方式的图像处理系统1预先存储表示距离图像获得部的设置状态的信息，因此能有效地求出转换函数。因此，能有效地生成合成部位信息。
另外，例如可以在距离图像获得装置上设置广角透镜、望远镜。由此，提高距离图像获得装置的设置的自由度。另外，在该情况下，转换函数生成部103将透镜倍率差作为参数之一生成转换函数。
以上，在人2上安装第二距离图像获得装置12，但关于第二距离图像获得装置12，可以与第一距离图像获得装置11相同地固定在以距地面预定的高度竖立设置的固定器具上。在该情况下，例如事先测定第一距离图像获得装置11及第二距离图像获得装置12的相对角度并预先求出转换函数，设置状态信息存储部105预先对此进行存储。由此，能省略利用转换函数生成部103的转换函数的计算处理，能有效地生成合成部位信息。
[第四实施方式]
图9表示作为第三实施方式表示的图像处理系统1的结构。在第三实施方式的图像处理系统1中，图像处理装置100具备第一接收部13、第二接收部14、第一标记位置信息获得部106、第二标记位置信息获得部107、转换函数生成部103、合成距离图像生成部108以及部位信息生成部109。其中，第一接收部13及第二接收部14的结构与第二实施方式相同。另外，第三实施方式的图像处理系统1的判断装置200的结构也与第二实施方式相同。另外，与第二实施方式相同，第一距离图像获得装置11固定在以距地面预定的高度竖立设置的固定器具3的上端附近。作为第三实施方式表示的图像处理系统1包括固定设置在人2的周围的预定位置的一个以上的标记7。
第一标记位置信息获得部106从第一距离图像获得装置11获得的第一距离图像获得表示第一距离图像中的在立体坐标系中的标记7的位置的信息(以下称为第一标记位置信息)。
第二标记位置信息获得部107从第二距离图像获得装置12获得的第二距离图像获得表示第二距离图像中的在立体坐标系的标记7的位置的信息(以下称为第二标记位置信息)。
转换函数生成部103基于第一标记位置信息和第二标记位置信息求出转换函数。在此，在第一实施方式中，通过特定第一距离图像所含的部位(关节部位)和第二距离图像所含的部位(关节部位)的对应，求出转换函数，但在第四实施方式中，转换函数生成部103代替部位(关节部位)的位置信息，以第一距离图像及第二距离图像双方所共同含有的标记7的位置信息为基准求出转换函数。因此，在第四实施方式中，能如第一实施方式那样不需要特定部位的对应，转换函数生成部103能有效地求出转换函数。
另外，在第一实施方式中，由于以人2的体的部位(关节部位)为基准求出转换函数，因此，若人2的动作大，则误差变大。但是，第四实施方式的情况以设置位置未变化的标记7的位置为基准求出转换函数，因此即使人2的动作大，也能高精度地求出转换函数。另外，例如只要增加设置的标记7的数量，例如采用基于各标记7求出的转换函数的参数的平均，则能进一步提高转换函数的精度。
合成距离图像生成部108使用求出的转换函数，生成作为在相同的坐标系中(例如第一距离图像中的立体坐标系或第二距离图像中的立体坐标系)表示从第一接收部13输入的第一距离图像和从第二接收部14输入的第二距离图像的数据而合成的信息(以下称为合成距离图像)。
另外，在生成合成距离图像时，例如可以合成距离图像生成部108以像素单位对第一距离图像和第二距离图像进行比较，优先采用分辨率高(例如通过从更接近的位置拍摄所获得的)的像素。由此，例如能生成包括第二距离图像获得装置12所含的人2的详细的信息和第一距离图像获得装置11所含的人2的整体的信息的双方的合成距离图像。
另外，在生成合成距离图像时，例如在只在第一距离图像及第二距离图像的任一方含有标记7的信息的情况下，可以采用含有标记7的信息的距离图像。由此，例如即使人2移动到从标记7离开的位置的情况，图像处理装置100也能持续输出合成距离图像。
部位信息生成部109关于合成距离图像进行人2的部位的检测，生成与人2的部位相关的信息(以下称为部位信息)，将所生成的部位信息输入判断装置200。另外，判断装置200的结构及功能与第二实施方式的判断装置200相同。
如上所述，根据第四实施方式的图像处理系统1，能将标记7的位置作为基准高精度地求出转换函数。另外，图像处理装置100(部位信息生成部109)能将一个合成距离图像作为对象检测部位信息，因此能有效地生成部位信息。
以上，关于本发明的几个实施方式进行了说明，但本发明未限定于这些实施方式，当然能在不脱离其要旨的范围进行多种改变。例如，上述实施方式是为了使本发明容易明白而详细地进行了说明，并未限定于具备说明的全部的结构。另外，关于上述实施方式的结构的一部分，能进行其他结构的追加、删除、置换。
另外，上述各结构、功能部、处理部、处理机构等可以以集成电路设计等用硬件实现这些的一部分或全部。另外，上述各结构、功能等可以通过信息处理机解析并执行各自的功能的程序而利用软件实现。实现各功能的程序、工作表、文件等信息预先置于存储器、硬盘、SSD(Solid State Drive)等存储装置或IC卡、SD卡、DVD等存储介质。
另外，在上述各图中，表示控制线、信息线认为在说明上必要的情况，未必限于表示安装上的全部的控制线、信息线。例如实际上认为几乎全部的结构可以相互连接。
另外，以上说明的图像处理系统1的各种功能部、各种处理部、各种数据库的配置方式只不过为一例。各种功能部、各种处理部、各种数据库的配置方式从图像处理系统1具备的硬件、软件的性能、处理效率、通信效率等观点能改变为最适的配置方式。
另外，上述的数据库的结构(概要(Schema)等)从资源的有效利用、处理效率提高、存取效率提高、检测效率提高等观点能灵活改变。
另外，作为距离图像获得装置，例如可以使用下述方法：使用数码摄像机、监视摄像机等，关于距离图像获得装置获得的图像进行图像处理，推断到被摄体的距离、骨骼信息。在该情况下，由于二次元的图像信号为对象，因此能较低地抑制运算负荷。
另外，以上，关于被摄体是人2的情况进行了说明，但被摄体例如可以是动物、无生物等。

Claims (15)

1.一种图像处理装置，其特征在于，
具备：
第一部位信息获得部，其从对被摄体的第一范围进行了拍摄的第一距离图像获得第一部位信息，该第一部位信息是与上述被摄体的部位相关的信息；
第二部位信息获得部，其从对上述被摄体的比上述第一范围窄的第二范围进行了拍摄的第二距离图像获得第二部位信息，该第二部位信息是与上述被摄体的部位相关的信息；
转换函数生成部，其基于上述第一部位信息及上述第二部位信息求出转换函数，该转换函数是进行上述第一部位信息中的第一坐标系与上述第二部位信息中的第二坐标系之间的坐标转换的函数；以及
合成部位信息生成部，其基于上述转换函数生成合成部位信息，该合成部位信息是在相同的坐标系中表示了上述第一部位信息和上述第二部位信息的信息。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述被摄体是人，上述第一范围是包括上述人的全身的范围，上述第二范围是包括上述人的一部分的范围。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
上述转换函数生成部对上述第一部位信息所含的部位和上述第二部位信息所含的部位的对应进行特定，以特定了的部位为基准求出上述转换函数。
4.根据权利要求1或2所述的图像处理装置，其特征在于，
上述转换函数生成部获得第一设置状态信息及第二设置状态信息，并基于上述第一设置状态信息及上述第二设置状态信息求出上述转换函数，其中，上述第一设置状态信息表示获得上述第一距离图像的距离图像获得装置的设置状态，上述第二设置状态信息表示获得上述第二距离图像的距离图像获得装置的设置状态。
5.根据权利要求4所述的图像处理装置，其特征在于，
上述转换函数生成部从设置在上述被摄体上的立体传感器获得上述第二设置状态信息。
6.根据权利要求4所述的图像处理装置，其特征在于，
还具备设置状态信息存储部，其对上述第一设置状态信息及上述第二设置状态信息中的至少任一个进行存储。
7.一种图像处理装置，其特征在于，
具备：
第一标记位置信息获得部，其从对被摄体的第一范围进行了拍摄的第一距离图像获得第一标记位置信息，该第一标记位置信息是与设在上述被摄体的周围的标记的位置相关的信息；
第二标记位置信息获得部，其从对一部分与上述第一范围重复的上述被摄体的第二范围进行了拍摄的第二距离图像获得第二标记位置信息，该第二标记位置信息是与上述标记的位置相关的信息；
转换函数生成部，其基于上述第一标记位置信息及上述第二标记位置信息，求出转换函数，该转换函数是进行上述第一标记位置信息中的第一坐标系与上述第二标记位置信息中的第二坐标系之间的坐标变换的函数；
合成距离图像生成部，其基于上述转换函数生成合成距离图像，该合成距离图像是在相同的坐标系中表示上述第一距离图像和上述第二距离图像的信息；以及
部位信息获得部，其从上述合成距离图像获得与上述被摄体的部位相关的信息。
8.根据权利要求7所述的图像处理装置，其特征在于，
上述被摄体是人，上述第一范围是包括上述人的全身的范围，上述第二范围是包括上述人的一部分的范围。
9.根据权利要求1、2、7、8任一项所述的图像处理装置，其特征在于，还具备：
动作模型存储部，其对将上述被摄体进行的动作表示为时间序列的部位信息的动作模型进行存储；以及
动作分析部，其通过将上述合成部位信息与上述动作模型进行比较，特定上述被摄体的动作。
10.根据权利要求1、2、7、8任一项所述的图像处理装置，其特征在于，还具备：
动作模型存储部，其存储正常动作模型，该正常动作模型是将上述被摄体进行的正常的动作表示为时间序列的部位信息的动作模型；以及
动作分析部，其通过将上述合成部位信息与上述正常模型进行比较，判断上述被摄体的动作是否正常。
11.根据权利要求1、2、7、8任一项所述的图像处理装置，其特征在于，还具备：
第一接收部，其接收从第一距离图像获得装置发送来的上述第一距离图像；以及
第二接收部，其接收从第二距离图像获得装置发送来的上述第二距离图像。
12.一种图像处理方法，其特征在于，
信息处理装置执行下述步骤：
从对被摄体的第一范围进行了拍摄的第一距离图像获得第一部位信息，该第一部位信息是与上述被摄体的部位相关的信息；
从对上述被摄体的比上述第一范围窄的第二范围进行了拍摄的第二距离图像获得第二部位信息，该第二部位信息是与上述被摄体的部位相关的信息；
基于上述第一部位信息及上述第二部位信息求出转换函数，该转换函数是进行上述第一部位信息中的第一坐标系和上述第二部位信息中的第二坐标系之间的坐标转换的函数；以及
基于上述转换函数生成合成部位信息，该合成部位信息是在相同的坐标系中表示了上述第一部位信息和上述第二部位信息的信息。
13.根据权利要求12所述的图像处理方法，其特征在于，
上述被摄体是人，上述第一范围是包括上述人的全身的范围，上述第二范围是包括上述人的一部分的范围。
14.根据权利要求12或13所述的图像处理方法，其特征在于，
还包括下述步骤：上述信息处理装置对上述第一部位信息所含的部位和上述第二部位信息所含的部位的对应进行特定，以特定了的部位为基准求出上述转换函数。
15.根据权利要求12或13所述的图像处理方法，其特征在于，
还包括下述步骤：上述信息处理装置获得第一设置状态信息及第二设置状态信息，并基于上述第一设置状态信息及上述第二设置状态信息求出上述转换函数，其中，上述第一设置状态信息表示获得上述第一距离图像的距离图像获得装置的设置状态，上述第二设置状态信息表示获得上述第二距离图像的距离图像获得装置的设置状态。
CN201711146459.2A 2016-12-19 2017-11-17 图像处理装置及图像处理方法 Pending CN108205656A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016245750A JP6769859B2 (ja) 2016-12-19 2016-12-19 画像処理装置及び画像処理方法
JP2016-245750 2016-12-19

Publications (1)

Publication Number Publication Date
CN108205656A true CN108205656A (zh) 2018-06-26

Family

ID=60923280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711146459.2A Pending CN108205656A (zh) 2016-12-19 2017-11-17 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US20180174307A1 (zh)
EP (1) EP3336799B1 (zh)
JP (1) JP6769859B2 (zh)
CN (1) CN108205656A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290352A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1690659A (zh) * 2004-04-23 2005-11-02 株式会社自动网络技术研究所 车辆周围环境观察设备
CN101711676A (zh) * 2008-09-30 2010-05-26 索尼株式会社 手指静脉认证装置和手指静脉认证方法
CN103037158A (zh) * 2011-10-04 2013-04-10 株式会社摩如富 图像处理装置和图像处理方法
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN104285441A (zh) * 2012-05-22 2015-01-14 三菱电机株式会社 图像处理装置
CN104794446A (zh) * 2015-04-22 2015-07-22 中南民族大学 基于合成描述子的人体动作识别方法及系统
US20160232676A1 (en) * 2015-02-05 2016-08-11 Electronics And Telecommunications Research Institute System and method for motion evaluation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
JP5877135B2 (ja) 2012-07-20 2016-03-02 株式会社日立製作所 画像認識装置及びエレベータ装置
JP2014130519A (ja) 2012-12-28 2014-07-10 Toshiba Corp 医用情報処理システム、医用情報処理装置及び医用画像診断装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1690659A (zh) * 2004-04-23 2005-11-02 株式会社自动网络技术研究所 车辆周围环境观察设备
CN101711676A (zh) * 2008-09-30 2010-05-26 索尼株式会社 手指静脉认证装置和手指静脉认证方法
CN103037158A (zh) * 2011-10-04 2013-04-10 株式会社摩如富 图像处理装置和图像处理方法
CN104285441A (zh) * 2012-05-22 2015-01-14 三菱电机株式会社 图像处理装置
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
US20160232676A1 (en) * 2015-02-05 2016-08-11 Electronics And Telecommunications Research Institute System and method for motion evaluation
CN104794446A (zh) * 2015-04-22 2015-07-22 中南民族大学 基于合成描述子的人体动作识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PALASEK PETAR ET AL.: ""A flexible calibration method of multiple kinects for 3D human reconstruction"", 《IEEE》 *
SUNG-YEOL KIM ET AL.: ""Generation of ROI Enhanced Depth Maps Using"", 《IEEE TRANSACTIONS ON BROADCASTING》 *
YEONGMIN HA ET AL.: ""3D Registration of Multi-view Depth Data for Hand-Arm Pose Estimation"", 《THE 11TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI 2014)》 *
曹阳: ""基于图像配准的运动物体提取与融合算法"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290352A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质

Also Published As

Publication number Publication date
JP6769859B2 (ja) 2020-10-14
EP3336799B1 (en) 2020-02-12
US20180174307A1 (en) 2018-06-21
EP3336799A2 (en) 2018-06-20
JP2018101207A (ja) 2018-06-28
EP3336799A3 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP6897555B2 (ja) 情報処理装置、制御方法、及びプログラム
RU2648836C2 (ru) Системы, способы и компьютерочитаемые носители для выявления вероятного влияния медицинского состояния на пациента
EP2830021A1 (en) Information processing device, position designation method
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
AU2014277858B2 (en) System and method for controlling a display
EP2849156A2 (en) Augmented reality method and information processing device
CN111667526B (zh) 用于确定环境中的多个对象的尺寸和距离的方法和设备
JP2008504858A (ja) 患者の臨床傾向を数値化し、状態の進行を監視するシステム及び方法
CN104571604A (zh) 信息处理设备及方法
CA3169587A1 (en) Instrument tracking machine
CN106031630A (zh) 用于体温检测的手持行动通讯装置及其体温检测方法
US20190318645A1 (en) Measurement device
CN108205656A (zh) 图像处理装置及图像处理方法
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
CN116343163A (zh) 用于感测系统模型实例的跨域训练的系统和方法
WO2017120288A1 (en) Optical head-mounted display with augmented reality for medical monitoring, diagnosis and treatment
JP5676982B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113129362A (zh) 一种三维坐标数据的获取方法及装置
CN111783637A (zh) 关键点标注方法及装置、目标物空间位姿确定方法及装置
CN112633143A (zh) 图像处理系统、方法、头戴设备、处理设备及存储介质
US20220036107A1 (en) Calculation device, information processing method, and storage medium
JP7464933B2 (ja) 表示装置及び表示システム
JP2020126332A (ja) 物体位置推定装置およびその方法
WO2022254644A1 (ja) 姿勢推定装置、姿勢推定方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180626

WD01 Invention patent application deemed withdrawn after publication