CN105027141A

CN105027141A - 图像处理系统及辅助系统

Info

Publication number: CN105027141A
Application number: CN201380071566.7A
Authority: CN
Inventors: 五十棲丈二; 中根伸幸; 野村英明
Original assignee: Fuji Machine Manufacturing Co Ltd
Current assignee: Fuji Corp
Priority date: 2013-01-31
Filing date: 2013-01-31
Publication date: 2015-11-04
Anticipated expiration: 2033-01-31
Also published as: WO2014118956A1; CN105027141B; US20150363627A1; EP2953054A1; EP2953054A4; US9600702B2; JP6029692B2; JPWO2014118956A1; EP2953054B1

Abstract

本发明的目的在于提供能够通过图像处理来取得标记表示的信息，并取得相机相对于标记的位置的信息的图像处理系统及辅助系统。图像处理系统具备：标记，具有在由一对基准线形成的区域中表示预定信息的信息表示部；相机，设置成能够相对于标记相对移动；信息取得部，取得图像数据中的标记的信息表示部表示的信息；距离计算部，算出相机相对于标记的光轴方向距离；及角度计算部，算出相机相对于标记的倾斜角度。

Description

图像处理系统及辅助系统

技术领域

本发明涉及通过图像处理来取得标记表示的信息并算出标记相对于读取器的位置的图像处理系统及具备该图像处理系统的辅助系统。

背景技术

二维码或条形码使用于生产领域、医疗领域等各种领域。二维码等表示预定信息的标记例如对通过相机的拍摄而取得的图像数据进行图像处理来读取信息。在通过这样的图像处理来读取标记的信息的读取器中，希望提高标记的识别精度。对此，在专利文献1、2中，通过测定或算出标记与读取器的距离，从而对标记的拍摄控制进行校正等来实现标记的识别精度的提高。

专利文献1：日本特开2005-190327号公报

专利文献2：日本特开2008-41039号公报

发明内容

发明要解决的课题

但是，在专利文献1、2的结构中，在相机以外还需要用于测定距离的传感器装置或投光装置。另外，关于读取器对标记的信息的读取，希望包含能够读取的范围、距离的扩大而进一步提高标记的识别精度。因此，需要更详细地识别标记与读取器的位置关系。

本发明鉴于这样的情况而作出，目的在于提供通过图像处理来取得标记表示的信息，并能够取得相机相对于标记的位置的信息的图像处理系统及辅助系统。

用于解决课题的方案

本发明的图像处理系统具备：标记，以规定角度平行地配置、或以预定角度配置被设定为规定长度的至少一对基准线，或者配置假想构成上述一对基准线的不处于同一直线上的四个以上基准点，并在由上述一对基准线形成的区域具有表示预定信息的信息表示部；相机，设置成能够相对于上述标记进行相对移动；信息取得部，通过上述相机的拍摄来取得上述标记的图像数据，取得上述图像数据中的上述标记的上述信息表示部表示的上述信息；距离计算部，基于上述一对基准线的上述规定长度和上述图像数据中的上述一对基准线的表观长度，算出上述相机相对于上述标记的光轴方向距离；及角度计算部，基于上述一对基准线的上述规定角度和上述图像数据中的上述一对基准线构成的表观角度，算出上述相机相对于上述标记的倾斜角度。

根据这样的结构，图像处理系统由距离计算部算出相机相对于标记的光轴方向距离，并由角度计算部算出相机相对于标记的倾斜角度。由此，图像处理系统能够取得标记表示的信息，并能够取得相机相对于标记的位置的信息。另外，信息取得部使标记与相机的位置关系反映到标记的识别处理中，能够提高标记的识别精度。

附图说明

图1是表示实施方式的辅助系统及图像处理系统的框图。

图2是表示标记的俯视图。

图3是表示相机对标记的拍摄的情况的俯视图。

图4是表示图像数据的标记的图。

图5是表示通过读取标记而取得的信息的图。

图6是实施方式的变形形态的标记的俯视图。

图7是表示实施方式的变形形态的标记的俯视图。

具体实施方式

<实施方式>

(辅助系统1及图像处理系统2的整体结构)

以下，参照附图对将本发明的图像处理系统及辅助系统具体化了的实施方式进行说明。在本实施方式中，辅助系统1的目的是例如对于需要从坐姿向站姿的转移动作的辅助等的护理对象者，支援其转移动。如图1所示，该辅助系统1具备：图像处理系统2、相当于护理对象者使用的椅子、床等的辅助设备3。

图像处理系统2具备：标记10、护理装置20、相机30、控制装置40。该图像处理系统2在辅助系统1中通过对图像数据进行处理，从而取得标记10的光学信息，并取得相机30相对于标记10的位置信息。标记10的整体形状构成矩形，粘贴在辅助设备3的铅垂面上。标记10如图2所示，以构成规定角度Ap来以预定角度配置或平行配置被设定为规定长度Lp的一对基准线11a、11b。在本实施方式中，规定角度Ap设定为0度(Ap＝0)，即一对基准线11a、11b平行配置。

另外，标记10在由一对基准线11a、11b形成的区域具有表示预定信息的二维码12。在本实施方式中，该二维码12是沿着基准线11a(11b)将多个单位单元12a排列成矩阵形状而构成的信息表示部。更详细而言，标记10如上所述将一对基准线11a、11b平行配置，并且将多个单位单元12a沿着基准线11a(11b)的延伸方向排列多列。

这样，标记10的二维码12通过多个单位单元12a的排列图案来表示预定信息。详细而言，多个单位单元12a是信息的最小单位，形成为四边形形状而通过黑白的深浅来光学性地表现各个数据位。以下，将通过该二维码12表示的信息也称为“光学信息”。作为这种二维码，例如已知QR码(注册商标)。而且，二维码12表示的光学信息中也包含护理装置20的移动控制的控制信息等。关于光学信息的详情，在后文叙述。

护理装置20是对护理对象者的动作进行辅助的装置。该护理装置20在主体部设有未图示的驱动装置，基于由后述的控制装置40的移动控制部44送出的控制信号而进行动作。另外，护理装置20由通过驱动装置使驱动轮旋转而在地板面上移动的移动体构成。并且，护理装置20例如对应于护理对象者的呼叫，从当前位置移动至辅助设备3的周围。然后，护理装置20将未图示的臂部固定于辅助设备3，基于护理对象者的操作或设置于各部位的非接触式传感器等各种传感器的信号等而使驱动装置动作。由此，护理装置20对护理对象者的动作进行支援。

相机30是具有CCD(Charge Coupled Device：电荷耦合元件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等拍摄元件的数码相机。另外，如图1所示，相机30设于护理装置20，以透镜单元的光轴Oa与地板面平行且朝向护理装置20的前方的方式固定。这样，相机30设置成能够相对于辅助设备3带有的标记10相对移动。并且，相机30基于以能够通信的方式连接的控制装置40的控制信号而拍摄护理装置20的前方，并将由该拍摄而取得的图像数据送出到控制装置40。

控制装置40主要由CPU、各种存储装置、控制电路构成，基于由相机30的拍摄而取得的图像数据来控制护理装置20的动作。如图1所示，该控制装置40具有：信息取得部41、距离计算部42、角度计算部43、移动控制部44。控制装置40与设于护理装置20的各种传感器以能够通信的方式连接，并且经由总线而与使臂部等动作的促动器连接。

信息取得部41由相机30的拍摄而取得标记10的图像数据，并取得图像数据的标记10的二维码12所表示的光学信息。具体而言，信息取得部41首先在图像数据中识别二维码12的部分，并进行该部分的掩模处理。接着，信息取得部41执行与二维码12的规格对应的解码处理，读取而取得二维码12表示的光学信息。另外，信息取得部41在解码处理时，可以进行加密数据的译码、错误校正等。这样，信息取得部41与相机30一起构成标记10的读取器。

距离计算部42基于一对基准线11a、11b的规定长度Lp、图像数据的基准线11a(11b)的表观长度，算出相机30相对于标记10的光轴方向距离。具体而言，距离计算部42首先取得预先存储于控制装置40的存储装置的规定长度Lp或由信息取得部41读取的光学信息所包含的规定长度Lp。接着，距离计算部42对图像数据的一对基准线11a(11b)的表观长度进行测定。

在此，基准线11a的表观长度相当于基准线11a在图像数据中所占据的比例，例如，在具有预定像素数的图像数据中，是与显示作为对象的基准线11a所需的像素数对应的长度。因此，在假定相机30的拍摄倍率恒定的情况下，相机30越接近标记10，基准线11a的表观长度越长。并且，距离计算部42基于取得的规定长度Lp与测定的表观长度，例如根据两者的关系式或映射来算出光轴方向距离。

另外，距离计算部42基于图像数据中的由一对基准线11a、11b分割出的标记10的基准位置Pr与图像数据的中心位置Pc之差，算出相机30相对于标记10的偏移量X。在此，偏移量X是相机30相对于标记10的在光轴正交方向上的相对距离，是表示标记10偏离相机30的透镜单元的光轴Oa的程度的值。

在计算偏移量X时，距离计算部42首先分割出图像数据中的由一对基准线11a、11b构成的矩形的相当于中心(两条对角线交叉的点)的标记10的基准位置Pr。接着，距离计算部42算出基准位置Pr与图像数据的中心位置Pc的差分作为例如图像数据的像素数。基准位置Pr与中心位置Pc之差根据相机30相对于标记10的距离而变化。因此，距离计算部42基于上述基准位置Pr与中心位置Pc之差和已经算出的光轴方向距离，根据例如两者的关系式、映射来算出偏移量X。

角度计算部43基于一对基准线11a、11b的规定角度Ap和图像数据中的一对基准线11a、11b所构成的表观角度，算出相机30相对于标记10的倾斜角度。在此，作为相机30的倾斜角度，包含相对于平面状的标记10的光轴的水平方向、铅垂方向的倾斜及绕光轴的旋转角度。在计算该倾斜角度时，角度计算部43首先取得预先存储于控制装置40的存储装置的规定角度Ap或由信息取得部41读取的光学信息中包含的规定角度Ap。接着，角度计算部43对图像数据中的一对基准线11a、11b所构成的表观角度进行测定。

该表观角度根据一对基准线11a、11b的规定角度Ap、相机30相对于标记10的倾斜方向而不同，但是例如在规定角度Ap为0度的情况下，倾斜角度越大则表观角度也越大。另外，例如在图像数据上，在一对基准线11a、11b的各延长线不交叉的情况下，一对基准线11a、11b平行，表观角度测定为0度。并且，角度计算部43基于所取得的规定角度Ap和测定的表观角度，例如根据两者的关系式、映射来算出相机30相对于标记10的倾斜角度。

移动控制部44对作为移动体的护理装置20的移动进行控制。详细而言，移动控制部44基于由信息取得部41取得的控制信息、设于护理装置20的各种传感器的检测值等，对驱动轮、臂部的促动器等送出控制信号。由此，移动控制部44控制护理装置20的移动及对于护理对象者的支援动作。

(图像处理系统2取得光学信息)

接着，对由上述的结构构成的图像处理系统2的基本的图像处理进行说明。图像处理系统2在对应于护理对象者的呼叫而护理装置20移动时，对粘贴于辅助设备3的标记10进行拍摄。在此，拍摄中的标记10与相机30处于图3所示的位置关系，通过该拍摄取得图4所示的图像数据Di。

图像处理系统2首先通过信息取得部41取得图像数据Di的标记10的二维码12所示的光学信息，并存储于控制装置40的存储装置。在此，信息取得部41在取得光学信息时无法识别二维码12的一部分等情况下，可以反映之后取得的相机30的位置信息，再次执行二维码12的读取处理。在由二维码12表示的光学信息中，如图5所示，包含一对基准线11a、11b的规定长度Lp、规定角度Ap、间隔Cl、护理装置20相对于标记10的控制信息、确定护理对象者的个人信息(个人ID、身高、体重等)及辅助的辅助信息(辅助内容、辅助履历等)。

另外，护理装置20的控制信息包含护理装置20相对于标记10的移动路径及移动速度。移动路径的控制信息表示例如移动到护理对象者的旁边的护理装置20的姿势。移动速度的控制信息例如根据标记10与护理装置20的距离而阶段性地表示护理装置20的移动速度。并且，移动控制部44基于该控制信息，以一边根据距离使护理装置20的移动速度变化，一边适当调整护理装置20相对于护理对象者的朝向的方式，控制护理装置20的移动。

接下来，图像处理系统2通过距离计算部42算出相机30相对于标记10的光轴方向距离Lt。因此，距离计算部42首先通过信息取得部41取得读取的光学信息中包含的规定长度Lp及间隔Cl。并且，距离计算部42对图像数据Di中的一对基准线11a、11b的表观长度Lr11、Lr12进行测定。此外，距离计算部42在本实施方式中，对一对基准线11a、11b的表观间隔Cr进行测定。

在此，表观间隔Cr是图像数据Di中的一对基准线11a、11b的间隔。该表观间隔Cr例如作为通过在图像数据Di中被分割出的标记10的基准位置Pr，并连结一对基准线11a、11b的最短的线段的长度而被测定。并且，距离计算部42算出取得的规定长度Lp分别与表观长度Lr11、Lr12之差、取得的间隔Cl与测定的表观间隔Cr之差。此外，距离计算部42利用表示各差与光轴方向距离Lt的关系的映射，算出相机30相对于标记10的光轴方向距离Lt。

另外，图像处理系统2通过距离计算部42算出相机30相对于标记10的偏移量X。详细而言，距离计算部42首先算出在图像数据Di中分割出的标记10的基准位置Pr与图像数据Di的中心位置Pc之差。并且，距离计算部42使用表示上述基准位置Pr和中心位置Pc之差与偏移量X的关系的映射，算出相当于相机30相对于标记10的光轴正交方向的相对距离的偏移量X。

接下来，图像处理系统2通过角度计算部43算出相机30相对于标记10的倾斜角度θ。在此为了简化说明，如图3所示，倾斜角度θ设为相机30相对于标记10的水平方向的斜度。更详细而言，将通过基准位置Pr且与标记10垂直的轴作为标记轴Om，倾斜角度θ相当于该标记轴Om与相机30的光轴Oa所构成的角度。

角度计算部43在计算倾斜角度θ时，首先，通过信息取得部41取得读取的光学信息中包含的规定角度Ap。此外，角度计算部43对图像数据Di中的一对基准线11a、11b的表观角度Ar进行测定。并且，角度计算部43使用表示规定角度Ap和表观角度Ar之差与倾斜角度θ的关系的映射，算出相机30相对于标记10的倾斜角度θ。此时，可以考虑已经算出的相机30的光轴方向距离Lt或偏移量X，来校正表观角度Ar。

另外，角度计算部43在计算倾斜角度θ时，可以通过识别二维码12中的多个单位单元12a的排列方向，从而识别一对基准线11a、11b的延伸方向。例如，根据标记10与相机30的光轴方向距离Lt、拍摄环境的不同，有时图像数据Di中的一对基准线11a、11b不清晰。因此，角度计算部43可以利用在本实施方式中多个单位单元12a沿着基准线11a(11b)排列，来判定当前识别的一对基准线11a、11b的延伸方向的正确与否。另外，在这种情况下，也需要考虑二维码12的规格(列数、行数、位置记号等)等。

这样，图像处理系统2基于通过相机30的拍摄而取得的图像数据Di，取得二维码12的光学信息，并取得相机30相对于标记10的位置信息(光轴方向距离Lt、偏移量X、倾斜角度θ)。并且，护理装置20通过控制装置40基于光学信息及位置信息来控制移动。另外，上述那样的图像处理可以护理装置20每移动预定距离或者每经过规定时间时执行。

(实施方式的结构的效果)

根据上述的图像处理系统2，通过距离计算部42算出相机30相对于标记10的光轴方向距离Lt，并通过角度计算部43算出相机30相对于标记10的倾斜角度θ。由此，在不设置测定距标记10的距离的传感器装置、投射装置的情况下，能够取得标记10的二维码12表示的光学信息，并取得相机30相对于标记10的位置信息。另外，信息取得部41能够将标记10与相机30的位置关系反映到标记10的识别处理中，来提高标记10的识别精度。

图像处理系统2通过距离计算部42算出相机30相对于标记10的偏移量X。由此，图像处理系统2能够基于相机30的偏移量X(相机30的光轴正交方向的相对距离)，取得相机30相对于标记10的位置的信息。另外，图像处理系统2能够基于该偏移量X和光轴方向距离Lt，求出相机30与标记10的直线距离。

另外，在本实施方式中，二维码12的光学信息包含一对基准线11a、11b的规定长度Lp及规定角度Ap。由此，图像处理系统2应对未预先存储规定长度Lp及规定角度Ap的情况，能够提高该系统的通用性。

标记10的信息表示部由二维码12构成。由此，标记10与条形码或由字符列等构成的代码相比，能够增加可收容的信息量。另外，在本实施方式中，因为二维码12表示标记10的信息(规定长度Lp、规定角度Ap等)，所以收容的信息量相应增加，因此作为信息表示部而应用二维码12的情况特别有用。

另外，二维码12的多个单位单元12a沿平行配置的一对基准线11a、11b的延伸方向排列。由此，图像处理系统2通过识别多个单位单元12a的排列方向，从而能够识别一对基准线11a、11b的延伸方向。因此，图像处理系统2能够提高基于距离计算部42及角度计算部43的图像处理的精度而良好地取得标记10和相机30的位置信息。

在本实施方式中，移动控制部44基于由信息取得部41取得的控制信息来控制作为移动体的护理装置20的移动。由此，移动控制部44对于移动路径及移动速度中的至少一方，能够考虑相机30相对于标记10的位置信息(光轴方向距离Lt、偏移量X、倾斜角度θ等)而进行良好的移动控制。另外，移动控制部44能够进行与标记10表示的相机30的位置信息及控制信息对应的移动控制，因此能够提高图像处理系统2的通用性。

另外，在本实施方式中，例示了在辅助系统1中应用图像处理系统2的结构。通过这样的结构，在利用护理装置20的移动而使相机30相对于标记10移动的情况下，通过信息取得部41，除了取得相机30相对于标记10的位置信息之外，还能够取得护理对象者的个人信息及辅助信息中的至少一方。护理装置20通过与护理对象者的状态或要求对应的移动控制，能够一边适当调整姿势、速度，一边移动至护理对象者的旁边。这样，将能够取得相机30的位置信息、护理对象者的个人信息等的图像处理系统2应用于辅助系统1的情况特别有用。

<实施方式的变形形态>

在本实施方式中，标记10将一对基准线11a、11b配置于二维码12的上下(图2的上下)。对此，可以将赋予标记的外框的一部分看作一对基准线。具体而言，例如图6所示，标记110具有包围二维码12的外周的外框113。并且，控制装置40将构成外框113的多个边的一部分或全部看作至少一对基准线111a、111b，由此能够执行在本实施方式中例示的图像处理及动作控制。

此外，可以通过赋予标记的四个以上基准点来假想地构成至少一对基准线。具体而言，例如如图7所示，标记210具有配置在二维码12的各角部的外周侧的由特定形状构成的四个基准点214a～214d。四个基准点214a～214d不一定必须处于同一平面上，但是以任意三个点不处于同一直线上的方式配置。并且，控制装置40连结基准点214a～214d而假想地构成一对基准线211a、211b，由此能够执行本实施方式中例示的图像处理及动作控制。

另外，在本实施方式中，标记10的信息表示部为二维码12。对此，标记10可以设为表示光学信息的条形码、直接显示信息的字符列、花纹、色彩或它们的结合体。但是，在增加可收容的信息量并进行错误校正等的情况下，如本实施方式例示那样优选将信息表示部设为二维码12。

另外，在本实施方式中，将图像处理系统2应用于辅助系统1。对此，图像处理系统2将具备一对基准线和信息表示部的代码作为读取处理的对象，能够应用于与各种代码对应的读取器。在这样的情况下，通过取得相机相对于标记的位置信息，也能得到与本实施方式同样的效果。

角度计算部43在算出倾斜角度θ时，使用表示规定角度Ap和表观角度Ar之差与倾斜角度θ的关系的映射。对此，角度计算部43例如可以与预先存储的多个图案进行核对来算出倾斜角度θ。另外，角度计算部43除了算出相机30相对于标记10的水平方向的斜度之外，也可以同样算出铅垂方向的斜度、绕光轴Oa的旋转角度。

附图标记说明

1：辅助系统，2：图像处理系统，3：辅助设备

10、110、210：标记

11a、11b：一对基准线

111a、111b、211a、211b：一对基准线

12：二维码(信息表示部)，12a：多个单位单元

113：外框，214a～214d：基准点

20：护理装置(移动体)

30：相机

40：控制装置

41：信息取得部，42：距离计算部，43：角度计算部

44：移动控制部

Lp：规定长度，Ap：规定角度，Cl：间隔

Lr11、Lr12：表观长度，Ar：表观角度

Cr：表观间隔，Oa：光轴，Om：标记轴

Lt：光轴方向距离，X：偏移量，θ：倾斜角度

Pr：基准位置，Pc：中心位置，Di：图像数据

Claims

1.一种图像处理系统，具备：

标记，以规定角度平行地配置、或以预定角度配置被设定为规定长度的至少一对基准线，或者配置假想构成所述一对基准线的不处于同一直线上的四个以上基准点，并在由所述一对基准线形成的区域具有表示预定信息的信息表示部；

相机，设置成能够相对于所述标记进行相对移动；

信息取得部，通过所述相机的拍摄来取得所述标记的图像数据，取得所述图像数据中的所述标记的所述信息表示部表示的所述信息；

距离计算部，基于所述一对基准线的所述规定长度和所述图像数据中的所述一对基准线的表观长度，算出所述相机相对于所述标记的光轴方向距离；及

角度计算部，基于所述一对基准线的所述规定角度和所述图像数据中的所述一对基准线构成的表观角度，算出所述相机相对于所述标记的倾斜角度。

2.根据权利要求1所述的图像处理系统，其中，

所述距离计算部基于所述图像数据中的由所述一对基准线分割出的所述标记的基准位置与所述图像数据的中心位置之差，算出所述相机相对于所述标记的偏移量。

3.根据权利要求2所述的图像处理系统，其中，

所述信息表示部表示的所述信息中包含所述一对基准线的所述规定长度及所述规定角度，

所述距离计算部利用由所述信息取得部所取得的所述规定长度算出所述光轴方向距离或所述偏移量，

所述角度计算部利用由所述信息取得部取得的所述规定角度算出所述倾斜角度。

4.根据权利要求1～3中任一项所述的图像处理系统，其中，

所述标记的所述信息表示部由沿着所述基准线以矩阵形状排列多个单位单元而成的二维码构成。

5.根据权利要求4所述的图像处理系统，其中，

所述标记的所述一对基准线平行配置，并且所述多个单位单元在所述基准线的延伸方向上排列多列。

6.根据权利要求1～5中任一项所述的图像处理系统，其中，

所述图像处理系统还具备：

移动体，设有所述相机并且能够相对于所述标记进行移动；及

移动控制部，对所述移动体的移动进行控制，

所述信息表示部的所述信息中包含所述移动体相对于所述标记的移动路径及移动速度中的至少一方涉及的控制信息，

所述移动控制部基于由所述信息取得部所取得的所述控制信息对所述移动体的移动进行控制。

7.一种辅助系统，其中，

具备权利要求6所述的图像处理系统，

所述移动体构成对护理对象者的动作进行辅助的护理装置，

所述信息表示部的所述信息中包含用于确定所述护理对象者的个人信息及所述辅助涉及的辅助信息中的至少一方。