CN109871734A - 控制装置及程序 - Google Patents

控制装置及程序 Download PDF

Info

Publication number
CN109871734A
CN109871734A CN201811299674.0A CN201811299674A CN109871734A CN 109871734 A CN109871734 A CN 109871734A CN 201811299674 A CN201811299674 A CN 201811299674A CN 109871734 A CN109871734 A CN 109871734A
Authority
CN
China
Prior art keywords
switching member
shutoff operation
reference position
passenger
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811299674.0A
Other languages
English (en)
Inventor
鬼头孝辅
押田拓郎
宇野纪
毛利聪
藤本真吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN109871734A publication Critical patent/CN109871734A/zh
Pending legal-status Critical Current

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts, e.g. by feet
    • E05Y2400/86—Actuation thereof by body parts, e.g. by feet by hand
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/542—Roof panels
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/55—Windows

Landscapes

  • Power-Operated Mechanisms For Wings (AREA)
  • Window Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

一种控制装置(20)包括：检测单元(215)，该检测单元(215)基于由对车辆的内部成像的成像装置(10)捕获的捕获图像来检测参考位置，该参考位置指示乘客的预定部分中作为参考的位置；以及控制单元(216)，该控制单元(216)设置在车辆中并且执行控制，使得在可打开和关闭的开关构件的关闭操作期间，当通过检测单元检测的参考位置的坐标值超过阈值时，开关构件的关闭操作被中断。

Description

控制装置及程序
技术领域
本发明涉及一种控制装置及程序。
背景技术
在现有技术中，一种通过诸如电动窗等车辆的开关构件来检测异物的夹持的技术是已知的。例如，JP2007-186915A(参考文献1)公开了一种用于基于从由成像装置捕获的图像数据中反映出的亮度获得的特征值来通过窗口检测是否发生异物的夹持的技术。
在上述现有技术中，对象(如窗口)的轮廓基于图像数据的亮度被提取，并且异物的夹持的发生通过使用变化量和被提取的轮廓的面积作为特征值而被检测，但是当被提取的轮廓中存在大的误差时，由于车辆的开关构件中对异物的夹持的发生不能被高精度地检测到，因此，存在难以完全防止该夹持的问题。
发明内容
根据本公开的一个方面的一种控制装置包括：检测单元，该检测单元检测基于由对车辆的内部成像的成像装置捕获的捕获图像来参考位置，该参考位置指示在乘客的预定部分中作为参考的位置；以及控制单元，该控制单元设置在车辆中并且执行控制，使得在可打开和关闭的开关构件的关闭操作期间，当通过检测单元检测的参考位置的坐标值超过阈值时，该开关构件的关闭操作被中断。根据该构造，可以高精度地检测开关闭构件中对预定部分的夹持的发生，并且可以通过开关构件完全防止对预定部分的夹持。
在根据该方面的控制装置中，例如，阈值可以包括第一阈值，并且控制单元执行控制，使得当参考位置在竖直方向上的坐标值在一段时间内超过第一阈值时，开关构件的关闭操作被中断。根据该构造，可以高精度地检测开关构件中对异物的夹持的发生，并且可以完全地防止开关构件中对预定部分的夹持。
在根据该方面的控制装置中，例如，控制单元可以执行控制，使得当开关构件的关闭操作被中断后，参考位置在竖直方向上的坐标值等于或小于第一阈值的状态持续一段时间时，开关构件的关闭操作被恢复。根据该构造，当开关构件中对预定部分的夹持的可能性被消除时，开关构件的关闭操作被恢复，使得可以完成开关构件的关闭操作，而不需要乘客再次的动作输入(指令输入)。
在根据该方面的控制装置中，例如，预定部分可以是乘客的手，并且开关构件可以是天窗。根据该构造，可以高精度地检测天窗中对乘客的手的夹持是否发生，并且可以完全地防止天窗对乘客的手的夹持。
在根据该方面的控制装置中，例如，阈值可以包括第二阈值，并且控制单元执行控制，使得当参考位置在水平方向上的坐标值在一段时间内超过第二阈值时，开关构件的关闭操作被中断。根据该构造，可以高精度地检测开关构件中对异物的夹持的发生，并且可以完全地防止开关构件中对预定部分的夹持。
在根据该方面的控制装置中，例如，控制单元可以执行控制，使得当开关构件的关闭操作被中断后，参考位置在水平方向上的坐标值等于或小于第二阈值的状态持续一段时间时，开关构件的关闭操作被恢复。根据该构造，当开关构件中对预定部分的夹持的可能性被消除时，开关构件的关闭操作被恢复，使得可以完成开关构件的关闭操作，而不需要乘客再次的动作输入(指令输入)。
在根据该方面的控制装置中，预定部分可以是乘客的手，并且开关构件可以是滑动门或者电动窗。根据该构造，可以高精度地检测乘客的手的夹持在滑动门或者电动窗中是否发生，并且可以完全防止滑动门或者电动窗中对乘客的手的夹持。
根据本公开的另一方面的一种程序使得计算机执行：检测步骤，该检测步骤基于由对车辆的内部成像的成像装置捕获的捕获图像来检测参考位置，该参考位置指示乘客的预定部分中用作参考的位置；以及控制步骤，该控制步骤进行控制，使得在可打开和关闭的开关构件的关闭操作期间，当在检测步骤中检测到的参考位置的坐标值超过阈值时，该开关构件的关闭操作被中断。
附图说明
通过以下参考附图的详细说明，本发明的上述和附加的特点和特征将变得更加明显，其中：
图1是示出根据实施例的信息处理系统的示意性构造的图；
图2是示出图像处理装置的硬件配置的示例的图；
图3是示出被包括在图像处理装置中的功能的示例的视图；
图4是示出骨架信息的示例的视图；
图5是示出映射信息的示例的图；
图6是示出对应于“打开”命令的动作的示例的视图；
图7是示出对应于“关闭”命令的动作的示例的视图；
图8是示出对应于“暂停”命令的动作的示例的视图；
图9是用于说明通过天窗夹持乘客的手的视图；
图10是用于说明通过根据第一实施例的控制单元控制的视图；
图11是示出根据第一实施例的图像处理装置的操作示例的流程图；
图12是用于说明通过根据第二实施例的控制单元控制的视图；以及
图13是示出第二实施例的图像处理装置的操作示例的流程图。
具体实施方式
在下文中，将参考附图详细描述这里公开的控制装置和程序。
第一实施例
图1是示出安装在例如汽车的车辆上的信息处理系统100的示意性构造的图，该车辆包括例如发动机或电动机等驱动源。在本实施例中，假设提供了一种配置，其中当车辆的乘客执行与任意命令相对应的动作(手势)时，该命令被自动执行。例如，当乘客执行与用于指示可打开和关闭的天窗(例如“设置在车辆中可打开和关闭的开关构件”)的打开操作/关闭操作的命令相对应的动作时，该命令被自动执行。然而，本公开并不限于此，例如，该天窗的打开和关闭控制可以在不需要手势识别的情况下被执行。例如，用于接受天窗的打开/关闭指令的操作单元(例如，按钮)被设置，并且天窗的打开和关闭操作可以根据由操作单元接受的指令被自动执行。
如图1所示，信息处理系统100包括成像装置10、图像处理装置20和车辆控制装置30。
成像装置10是对车辆的内部成像的装置。例如，成像装置10包括相机。在该示例中，成像装置10以预定的帧速率连续地成像。由成像装置10捕获的图像(下文中可以称为“捕获图像”)被输入到图像处理装置20。
基于从成像装置10输入的捕获图像，图像处理装置20判断与任意命令对应的动作是否被执行，并且当判断结果为肯定时，输出指示允许输出至车辆控制装置30的命令的信息(命令信息)。此外，图像处理装置20检测乘客的预定部分的夹持在天窗的关闭操作期间是否发生，并且当检测到乘客的预定部分的夹持发生时，进行控制以使得天窗的关闭操作被中断。在该示例中，图像处理装置20是“控制装置”的示例。下面将描述图像处理装置20的具体结构。
车辆控制装置30根据由从图像处理装置20输入的命令信息指示的命令来控制车辆的各个组件。
在下文中，将描述本实施例的图像处理装置20的具体结构。图2是示出图像处理装置20的硬件配置的示例的图。如图2所示，图像处理装置20包括CPU 201、ROM 202、RAM 203和外部I/F 204。在该示例中，图像处理装置20具有与正常计算机相同的硬件配置。应当注意，包括在图像处理装置20中的硬件元件并不限于图2所示的硬件元件，其他硬件元件可以被进一步设置。
通过执行该程序，CPU 201全面地控制图像处理装置20的操作，实现包括在图像处理装置20中的各种功能。下面将描述包括在图像处理设备20中的各种功能。
ROM 202是非易失性存储器并且存储包括用于启动图像处理装置20的程序的各种数据。RAM 203是包括CPU 201的工作区域的易失性存储器。
外部I/F 204是用于连接到外部装置的接口。例如，作为外部I/F 204，用于连接到成像装置10的接口和用于连接到车辆控制装置30的接口被设置。
图3是示出包括在图像处理装置20中的功能的示例的图。在图3的示例中，仅示出了与本公开有关的功能，但是包括在图像处理设备20中的功能并不限于此。
如图3所示，图像处理装置20包括获取单元211、识别单元212、判断单元213、命令输出单元214、检测单元215和控制单元216。在该示例中，CPU 201执行存储在例如ROM 202等存储装置中的程序，使得获取单元211、识别单元212、判断单元213、命令输出单元214、检测单元215和控制单元216的各个功能被实现。然而，本公开不限于此，例如，获取单元211，识别单元212，判断单元213，命令输出单元214，检测单元215和控制单元216的至少一部分可以被配置为专用硬件电路。
获取单元211从成像装置10获取捕获图像。每当成像装置10成像时，获取单元211获取通过图像捕获获得的捕获图像。
识别单元212基于由获取单元211获取的捕获图像(由成像设备10捕获的捕获图像)识别乘客的动作。在该示例中，乘客的动作是使用手的动作模式，但不限于此。
各种已知技术可被用作基于捕获图像来识别乘客的动作的方法。例如，一个实施例可以利用日本专利申请No.2017-182748中公开的技术。在本实施例中，识别单元212提取捕获图像中反映出的乘客的身体(上身)的每个部分的关节(特征点)，并生成骨架信息(骨架数据)。然后，识别单元212基于生成的骨架信息识别乘客的动作。
图4是示出本实施例的骨架信息的示例的视图。每个特征点由x方向(水平方向)上的坐标值和y方向(竖直方向)上的坐标值的组合(二进制坐标信息)表示。在图4的示例中，对应于头部的特征点P1(x1，y1)，对应于颈部的特征点P2(x2，y2)，对应于右肩的特征点P3(x3，y3)中，对应于右肘的特征点P4(x4，y4)，对应于右手腕的特征点P5(x5，y5)，对应于右手的中心点的特征点P6(x6，y6)，对应于右手的拇指的特征点P7(x7，y7)，对应于右手的中指的特征点P8(x8，y8)，对应于左肩的特征点P9(x9，y9)，对应于左肘的特征点P10(x10，y10)，对应于左手腕的特征点P11(x11，y11)，对应于左手的中心点的特征点P12(x12，y12)，对应于左手的拇指的特征点P13(x13，y13)，对应于左手的中指的特征点P14(x14，y14)，对应于右臀部的特征点P15(x15，y15)，对应于左臀部的特征点P16(x16，y16)被列为骨架信息的特征点，但是本公开不限于上述内容。
返回图3，继续说明。判断单元213基于由识别单元212识别的乘客的动作来判断与任意命令相对应的动作是否被执行。在本实施例中，判断单元213基于将命令与动作相关联的映射信息来判断与任意命令相对应的动作是否被执行。更具体地，判断单元213识别与动作相关联的命令，并当在包括在映射信息中的动作中有与被识别单元212识别的乘客的动作相匹配的动作时，判断与指定命令相对应的动作被执行。
图5是示出映射信息的示例的图。映射信息可以被存储在图像处理装置20中的存储器(例如，ROM 202)中，或者可以被存储在除图像处理装置20之外的存储器中。在图5的示例中，举例说明了与天窗的控制有关的命令，但是命令的类型不限于上述内容。
在图5中，被表示为“打开”的命令是指示打开天窗的命令，被表示为“关闭”的命令是指示关闭天窗的命令，被表示为“暂停”的命令是指示停止(中断)天窗的打开和关闭操作的命令。
如图6所示，指示手在天窗的打开方向上被移动的动作与命令“打开”相关联。此外，如图7所示，指示手在天窗的关闭方向上被移动的动作与命令“关闭”相关联。如图8所示，与命令“暂停”相关联的是指示举起拳头的动作。与每个命令相对应的动作可以被可选地设置，但不限于此。
以这种方法，判断单元213判断与任意命令相对应的动作是否被执行，并将判断结果输入到命令输出单元214。
图3所示的命令输出单元214将指示被判断为与所执行的动作相对应的命令的命令信息输出到车辆控制装置30。
在该示例中，当命令输出单元214将指示命令“关闭”的命令信息输出到车辆控制装置30时，车辆控制装置30关闭天窗。此时，如图9所示，当后座中的乘客已到达车辆外部时，如果关闭操作继续，则发生天窗夹持乘客的手。
因此，本实施例的图像处理装置20基于由对车辆的内部成像的成像装置10捕获的捕获图像来检测参考位置，该参考位置指示在乘客的预定部分(在此示例中，为“乘客的手”)中用作参考的位置，并且当在天窗的关闭操作期间基于捕获图像检测到的参考位置的坐标值超过阈值时，图像处理装置20进行控制以使得天窗的关闭操作被中断。这对应于图3所示的检测单元215和控制单元216的功能。在下文中，将描述图3所示的检测单元215和控制单元216中的每一个的功能。
检测单元215基于由成像装置10捕获的捕获图像(由获取单元211获取的捕获图像)检测参考位置，该参考位置指示乘客的预定部分中用作参考的位置。在该示例中，预定部分是乘客的手，但不限于此，因此，例如，它可以是乘客的头部。此外，在上述示例中，参考位置是手的中心点，但不限于此，因此，例如，它可以是乘客的手的中指等。此外，在本示例中，由于车辆中的所有乘客(驾驶员、乘客座位中的乘客、后座中的乘客)都被包括为乘客，因此假定成像装置10被定位(视角和姿态被调整)以使车辆内的所有乘客都被成像。
在该示例中，检测单元215根据来自控制单元216的指令检测参考位置，该指令将在下面描述，并且向控制单元216通知检测结果。虽然检测参考位置的方法是可选的，但是作为示例，检测单元215由被获取单元211获取的捕获图像中生成包括在该捕获图像中的每个乘客的上述骨架信息，并基于所生成的每个乘客的骨架信息检测作为参考位置的乘客的手的中心点的位置。在该示例中，虽然识别单元212和检测单元215被分离地设置，但是作为示例，识别单元212和检测单元215可以被构造为公共模块(例如，在识别单元212也用作检测单元215的功能的模式中)。
当在天窗的关闭操作期间由检测单元215检测到的参考位置的坐标值超过阈值时，控制单元216执行控制，使得天窗的关闭操作被中断。更具体地，如图10所示，当参考位置(在该示例中，为乘客的手的中心点)在竖直方向上的坐标值y0在一段时间内超过第一阈值yth(作为阈值的一个方面)时，控制单元216执行控制，使得天窗的关闭操作被中断。在该示例中，第一阈值yth是竖直方向上的坐标值，基于该坐标值通过天窗对乘客的手的夹持的发生可以被判断，并且当竖直方向上的乘客的手的中心点的坐标值y0大于第一阈值yth时，可以判断天窗对乘客的手的夹持的发生。
作为上述中断天窗的关闭操作的控制的示例，控制单元216可以向车辆控制装置30发送指示如下命令的命令信息：该命令指示中断天窗的关闭操作。车辆控制装置30可以通过执行由从控制单元216接收到的命令信息指示的命令来中断天窗的关闭操作。
此外，在该示例中，当指示“关闭”命令的命令信息被输出到车辆控制装置30时，命令输出单元214将此通知控制单元216。当接收到该通知时，控制单元216识别天窗处于关闭操作中并且请求检测单元215检测参考位置。当接收到该请求时，检测单元215基于被获取单元211获取的捕获图像检测参考位置，并将检测结果发送到控制单元216。然后，控制单元216基于捕获图像从检测到的参考位置在竖直方向上的坐标值y0与预定的第一阈值yth之间的关系判断是否进行控制以使天窗的关闭操作被中断。在该示例中，命令输出单元214和控制单元216被分离地设置，但不限于此，例如，命令输出单元214和控制单元216可以被配置为公共模块(例如，在命令输出单元214还用作控制单元216的功能的模式中)。
根据本实施例，仅通过从捕获图像中提取参考位置，可以从被提取的参考位置在竖直方向上的坐标值y0与第一阈值yth之间的大/小关系来判断天窗中的乘客的手的夹持是否发生，从而不需要执行如现有技术中提取包括在捕获图像中的例如窗框架等整个对象的轮廓的处理。此外，与如现有技术中从捕获图像中提取整个对象的轮廓的情况相比，在本实施例中，在从捕获图像中提取参考位置点的情况下，图像识别处理过程中发生的误差更小，并且因此，可以提高判断乘客的手的夹持是否在例如天窗等设置于车辆的竖直方向的开关构件中发生的准确度。
此外，控制单元216执行控制，使得当天窗的关闭操作被中断后，参考位置在竖直方向上的坐标值y0等于或小于第一阈值yth的状态持续一段时间时，天窗的关闭操作被恢复。例如，控制单元216可以向车辆控制装置30发送指示如下命令的命令信息：该命令指示恢复天窗的关闭操作。车辆控制装置30可以通过执行由从控制单元216接收到的命令信息指示的命令来恢复天窗的关闭操作。在该示例中，当乘客的手被天窗夹持的可能性被消除时，天窗的关闭操作被恢复，因此可以完成天窗的关闭操作而不需要乘客再次的动作输入(指令输入)。
图11是示出根据本实施例的天窗的关闭操作期间的图像处理装置20的动作示例的流程图。由于每个步骤的具体内容如上所述，因此，在适当的情况下，详细说明将不再被重复。
如图11所示，检测单元215首先基于被获取单元211获取的捕获图像来检测参考位置(本示例中的乘客的手的中心点)(步骤S1)。接下来，控制单元216判断在步骤S1中检测到的参考位置在竖直方向上的坐标值y0是否大于第一阈值yth(步骤S2)。
当步骤S2的结果是肯定的(步骤S2：是)时，控制单元216判断参考位置在竖直方向上的坐标值y0大于第一阈值yth的状态是否持续了一段时间(步骤S3)。当步骤S3的结果是否定的(步骤S3：否)时，过程在前面从步骤S1被重复。另一方面，当步骤S3的结果是肯定的(步骤S3：是)时，控制单元216执行控制，使得天窗的关闭操作(步骤S4)被中断。
如上所述，在本实施例中，当在天窗的关闭操作期间基于由对车辆的内部成像的成像装置10捕获的捕获图像，检测到的乘客的预定部分(在该示例中，为乘客的手的中心点)的参考位置在竖直方向上的坐标值y0在一段时间内超过第一阈值yth时，进行控制使得天窗的关闭操作被中断。因此，可以高精度地检测在天窗中的乘客的手的夹持是否发生，并且可以完全地防止天窗的乘客的手的夹持。
第二实施例
接下来，将描述第二实施例。对上述第一实施例共同的部分的描述将适当地不被重复。在上述第一实施例中，在竖直方向上设置在车辆中的构件(例如，天窗)被假设作为开关构件。在本实施例中，存在不同之处在于，例如，滑动门或电动窗等在车辆中在水平方向上设置的构件被假定为开关构件。在下面的描述中，滑动门将被描述为开关构件作为示例，但本公开不限于此。在该示例中，由于除了包括在控制单元216中的功能之外的配置与上述第一实施例的配置相同，因此，其详细描述将不被重复。
与上述第一实施例类似，控制单元216的基本功能是执行控制，使得在可打开和关闭的开关构件的关闭操作期间，当被检测单元215检测的参考位置的坐标值超过阈值时，开关构件的关闭操作被中断。在该示例中，开关构件是滑动门，预定部分是乘客的手，并且参考位置是乘客的手的中心点，但是不限于此。
如图12所示，本实施例的控制单元216执行控制，使得当滑动门的关闭操作期间，乘客的手的中心点在水平方向上的的坐标值x0在一段时间超过第二阈值xth(阈值的一个方面)时，滑动门的关闭操作被中断。在该示例中，第二阈值xth是水平方向上的坐标值，基于该坐标值通过滑动门对乘客的手的夹持的发生可以被判断，并且当乘客的手的中心点在水平方向上的的坐标值x0大于第二阈值xth时，可以判断滑动门对乘客的手的夹持的发生。
作为上述中断滑动门的关闭操作的控制的示例，控制单元216可以向车辆控制装置30发送指示如下命令的命令信息：该命令指示中断滑动门的关闭操作。车辆控制装置30可以通过执行由从控制单元216接收到的命令信息指示的命令来中断滑动门的关闭操作。
与上述第一实施例同样地，当指示如下命令的命令信息被输出到车辆控制装置30时，命令输出单元214将此通知控制单元216：该命令指示滑动门的关闭操作。与指示滑动门的关闭操作的命令或指示打开操作的命令相对应的动作(对每个命令预先定义的动作)可以被可选地设置。当接收到该通知时，控制单元216识别滑动门处于关闭操作中并且请求检测单元215检测参考位置。当接收到该请求时，检测单元215基于被获取单元211获取的捕获图像检测参考位置，并将检测结果发送到控制单元216。然后，控制单元216基于捕获图像从检测到的参考位置在水平方向上的坐标值x0与预定的第二阈值xth之间的关系判断是否进行控制以使滑动门的关闭操作被中断。
根据本实施例，仅通过从捕获图像中提取参考位置，可以从被提取的参考位置在水平方向上的坐标值x0与预定的第二阈值xth之间的大/小关系来判断滑动门中的乘客的手的夹持是否发生，从而不需要执行如现有技术中提取包括在捕获图像中例如窗框架等整个对象的轮廓的处理。此外，与如现有技术中从捕获图像中提取整个对象的轮廓的情况相比，在本实施例中，在从捕获图像中提取参考位置点的情况下，图像识别处理过程中发生的误差更小，并且因此，可以提高判断乘客的手的夹持是否在例如滑动门等设置于车辆的水平方向的开关构件中发生的准确度。
此外，控制单元216执行控制，使得当滑动门的关闭操作被中断后，参考位置在水平方向上的坐标值x0等于或小于第二阈值xth的状态持续一段时间时，滑动门的关闭操作被恢复。例如，控制单元216可以向车辆控制装置30发送指示如下命令的命令信息：该命令指示恢复滑动门的关闭操作。车辆控制装置30可以通过执行由从控制单元216接收到的命令信息指示的命令来恢复滑动门的关闭操作。在该示例中，当乘客的手的被滑动门夹持的可能性被消除时，滑动门的关闭操作被恢复，因此可以完成滑动门的关闭操作而不需要乘客再次的动作输入(指令输入)。
图13是示出根据本实施例的滑动门的关闭操作期间的图像处理装置20的操作示例的流程图。由于每个步骤的具体内容如上所述，因此，在适当的情况下，详细说明将不再被重复。
如图13所示，检测单元215首先基于被获取单元211获取的捕获图像来检测参考位置(本示例中的乘客的手的中心点)(步骤S10)。接下来，控制单元216判断在步骤S10中检测到的参考位置在水平方向上的坐标值x0是否大于第二阈值xth(步骤S11)。
当步骤S11的结果是肯定的(步骤S11：是)时，控制单元216判断参考位置在水平方向上的坐标值x0大于第二阈值xth的状态是否持续了一段时间(步骤S12)。当步骤S12的结果是否定的(步骤S12：否)时，过程在前面从步骤S10被重复。另一方面，当步骤S12的结果是肯定的(步骤S12：是)时，控制单元216执行控制，使得滑动门的关闭操作(步骤S13)被中断。
如上所述，在本实施例中，当在滑动门的关闭操作期间基于由对车辆的内部成像的成像装置10捕获的捕获图像，检测到的乘客的预定部分(在该示例中，为乘客的手的中心点)的参考位置在水平方向上的坐标值x0在一段时间内超过第二阈值xth时，进行控制使得滑动门的关闭操作被中断。因此，可以高精度地检测在滑动门中的乘客的手的夹持是否发生，并且可以完全地防止滑动门的乘客的手的夹持。
虽然根据本公开的实施例已经被描述如上，但是本公开并不限于上述实施例，并且在实施阶段，可以在不脱离其主旨的情况下通过修改组成元件来体现。此外，各种公开可以通过适当地组合上述实施例中公开的多个组成元件而形成。例如，一些组成元件可以从实施例中示出的所有组成元件中被删除。此外，上述每个实施例和修改示例可以被可选地组合。
设置在车辆中的可打开和关闭的开关构件的类型不限于上述内容，并且可以设置在例如后门等。
此外，上述控制单元216可以被安装在例如车辆控制装置30一侧。在这种情况下，图像处理装置20和车辆控制装置30的组合对应于“控制装置”。简而言之，控制装置可以是至少包括上述检测单元215和控制单元216的形式，可以由单个装置或多个装置构成(检测单元215和控制单元216被分布在多个设备中)。
上述说明书描述了本发明的原理，优选实施例和操作方式。然而，本发明想要保护的不应诠释为局限于公开的具体实施例。此外，在此描述的实施例被认为是示例性的而不是限制性的。可以通过采用其他以及等价物做出不偏离本发明的精神的变型和改动。因此，明确地意指，如随附的权利要求所限定的所有这些属于本发明精神及范围的变型、改动及等价物都由此而包含其中。

Claims (8)

1.一种控制装置(20)，其特征在于，包括：
检测单元(215)，所述检测单元(215)基于由对车辆的内部成像的成像装置(10)捕获的捕获图像来检测参考位置，所述参考位置指示乘客的预定部分中作为参考的位置；以及
控制单元(216)，所述控制单元(216)设置在所述车辆中并且执行控制，以使得在可打开和关闭的开关构件的关闭操作期间，当通过所述检测单元检测的所述参考位置的坐标值超过阈值时，所述开关构件的所述关闭操作被中断。
2.如权利要求1所述的控制装置，其特征在于，
其中，所述阈值包括第一阈值；并且
所述控制单元执行控制，以使得当所述参考位置在竖直方向上的坐标值在一段时间内超过所述第一阈值时，所述开关构件的所述关闭操作被中断。
3.如权利要求2所述的控制装置，其特征在于，
其中，所述控制单元执行控制，以使得当所述开关构件的所述关闭操作被中断后，所述参考位置在所述竖直方向上的坐标值等于或小于所述第一阈值的状态持续一段时间时，所述开关构件的所述关闭操作被恢复。
4.如权利要求2或3所述的控制装置，其特征在于，
其中，所述预定部分是乘客的手；并且
所述开关构件是天窗。
5.如权利要求1所述的控制装置，其特征在于，
其中，所述阈值包括第二阈值；并且
所述控制单元执行控制，以使得当所述参考位置在水平方向上的坐标值在一段时间内超过所述第二阈值时，所述开关构件的所述关闭操作被中断。
6.如权利要求5所述的控制装置，其特征在于，
其中，所述控制单元执行控制，以使得当所述开关构件的所述关闭操作被中断后，所述参考位置在所述水平方向上的坐标值等于或小于所述第二阈值的状态持续一段时间时，所述开关构件的所述关闭操作被恢复。
7.如权利要求6所述的控制装置，其特征在于，
其中，所述预定部分是乘客的手；并且
所述开关构件是滑动门或者电动窗。
8.一种程序，其特征在于，所述程序使得计算机执行：
检测步骤，所述检测步骤基于由对车辆的内部成像的成像装置捕获的捕获图像来检测参考位置，所述参考位置指示乘客的预定部分中作为参考的位置；以及
控制步骤，所述控制步骤进行控制，以使得在可打开和关闭的开关构件的关闭操作期间，当在所述检测步骤中检测到的所述参考位置的坐标值超过阈值时，所述开关构件的所述关闭操作被中断。
CN201811299674.0A 2017-12-01 2018-11-02 控制装置及程序 Pending CN109871734A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-232046 2017-12-01
JP2017232046A JP7062930B2 (ja) 2017-12-01 2017-12-01 制御装置およびプログラム

Publications (1)

Publication Number Publication Date
CN109871734A true CN109871734A (zh) 2019-06-11

Family

ID=66547856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811299674.0A Pending CN109871734A (zh) 2017-12-01 2018-11-02 控制装置及程序

Country Status (4)

Country Link
US (1) US11105141B2 (zh)
JP (1) JP7062930B2 (zh)
CN (1) CN109871734A (zh)
DE (1) DE102018127819A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111206845A (zh) * 2019-12-19 2020-05-29 珠海格力电器股份有限公司 一种智能落地窗的控制方法、装置、终端及存储介质
CN114174141A (zh) * 2019-07-30 2022-03-11 马自达汽车株式会社 车辆控制系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7436230B2 (ja) * 2020-02-12 2024-02-21 トヨタ自動車株式会社 車両用スロープシステム

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010045327A1 (en) * 1999-12-08 2001-11-29 Shemanske, Kenneth J. Elevator door control device
CN1735205A (zh) * 2004-08-04 2006-02-15 奥林巴斯株式会社 图像生成方法和装置
JP2007070830A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車両用開閉体制御装置
JP2007186916A (ja) * 2006-01-13 2007-07-26 Tokai Rika Co Ltd ウインドウ画像領域検出装置及びパワーウインドウ装置
JP2007186915A (ja) * 2006-01-13 2007-07-26 Tokai Rika Co Ltd パワーウインドウ装置
CN101155528A (zh) * 2005-04-14 2008-04-02 松下电工株式会社 升降式存放装置
JP2009084040A (ja) * 2007-10-03 2009-04-23 Hitachi Ltd エレベーターの制御方法
JP2009208867A (ja) * 2008-03-03 2009-09-17 Mitsubishi Electric Corp エレベータードアの制御装置
CN101932522A (zh) * 2008-04-22 2010-12-29 三菱电机株式会社 滑动门装置及电梯
CN103373660A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 电梯防夹装置
CN104533222A (zh) * 2014-11-11 2015-04-22 无锡悟莘科技有限公司 一种车窗智能防夹控制系统
CN106032106A (zh) * 2015-03-13 2016-10-19 厦门歌乐电子企业有限公司 一种控制车门开启的车载装置
CN106406514A (zh) * 2015-07-29 2017-02-15 福特全球技术公司 用于基于手势控制车门的系统和方法
CN106394198A (zh) * 2015-07-29 2017-02-15 福特环球技术公司 用于车辆门协助系统的密封基础的物体检测
US20170247926A1 (en) * 2016-02-29 2017-08-31 Ford Global Technologies, Llc Moving object detection for power door system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001056142A1 (en) * 2000-01-31 2001-08-02 Prospects, Corp. Safety interlock for mechanically actuated closure device
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
JP4810686B2 (ja) * 2008-03-13 2011-11-09 三井金属アクト株式会社 車両用ドアの電動開閉装置
US8975903B2 (en) 2011-06-09 2015-03-10 Ford Global Technologies, Llc Proximity switch having learned sensitivity and method therefor
US9694764B2 (en) * 2011-12-09 2017-07-04 Flextronics Automotive, Inc. Vehicle electromechanical systems triggering based on image recognition and radio frequency
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
JP6391000B2 (ja) * 2013-07-08 2018-09-19 テイ・エス テック株式会社 窓開閉システム
JP6011579B2 (ja) 2014-05-21 2016-10-19 株式会社デンソー ジェスチャ入力装置
DE102015205931A1 (de) * 2015-04-01 2016-10-06 Zf Friedrichshafen Ag Bedienvorrichtung und Verfahren zum Bedienen zumindest einer Funktion eines Fahrzeugs
TW201636233A (zh) * 2015-04-14 2016-10-16 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
JP6562752B2 (ja) 2015-07-30 2019-08-21 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6587970B2 (ja) 2016-03-31 2019-10-09 綜合警備保障株式会社 契約機器の設定方法、通知の方法、通信システム、情報処理装置、及びプログラム
US20190136964A1 (en) * 2017-11-07 2019-05-09 Ford Global Technologies, Llc Transmission shifting system

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010045327A1 (en) * 1999-12-08 2001-11-29 Shemanske, Kenneth J. Elevator door control device
CN1735205A (zh) * 2004-08-04 2006-02-15 奥林巴斯株式会社 图像生成方法和装置
CN101155528A (zh) * 2005-04-14 2008-04-02 松下电工株式会社 升降式存放装置
JP2007070830A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車両用開閉体制御装置
JP2007186916A (ja) * 2006-01-13 2007-07-26 Tokai Rika Co Ltd ウインドウ画像領域検出装置及びパワーウインドウ装置
JP2007186915A (ja) * 2006-01-13 2007-07-26 Tokai Rika Co Ltd パワーウインドウ装置
JP2009084040A (ja) * 2007-10-03 2009-04-23 Hitachi Ltd エレベーターの制御方法
JP2009208867A (ja) * 2008-03-03 2009-09-17 Mitsubishi Electric Corp エレベータードアの制御装置
CN101932522A (zh) * 2008-04-22 2010-12-29 三菱电机株式会社 滑动门装置及电梯
CN103373660A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 电梯防夹装置
CN104533222A (zh) * 2014-11-11 2015-04-22 无锡悟莘科技有限公司 一种车窗智能防夹控制系统
CN106032106A (zh) * 2015-03-13 2016-10-19 厦门歌乐电子企业有限公司 一种控制车门开启的车载装置
CN106406514A (zh) * 2015-07-29 2017-02-15 福特全球技术公司 用于基于手势控制车门的系统和方法
CN106394198A (zh) * 2015-07-29 2017-02-15 福特环球技术公司 用于车辆门协助系统的密封基础的物体检测
US20170247926A1 (en) * 2016-02-29 2017-08-31 Ford Global Technologies, Llc Moving object detection for power door system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114174141A (zh) * 2019-07-30 2022-03-11 马自达汽车株式会社 车辆控制系统
CN114174141B (zh) * 2019-07-30 2024-01-26 马自达汽车株式会社 车辆控制系统
CN111206845A (zh) * 2019-12-19 2020-05-29 珠海格力电器股份有限公司 一种智能落地窗的控制方法、装置、终端及存储介质

Also Published As

Publication number Publication date
DE102018127819A1 (de) 2019-06-06
JP2019098932A (ja) 2019-06-24
US11105141B2 (en) 2021-08-31
US20190169917A1 (en) 2019-06-06
JP7062930B2 (ja) 2022-05-09

Similar Documents

Publication Publication Date Title
CN109871734A (zh) 控制装置及程序
KR101761050B1 (ko) 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법
US10733274B2 (en) Biometric authentication using gesture
US8296574B2 (en) Failure diagnosis method
US20200334477A1 (en) State estimation apparatus, state estimation method, and state estimation program
US8428361B2 (en) Image processing apparatus for detecting a face
JP2017509062A (ja) 電子機器の制御方法
JP2000163196A (ja) ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US10108334B2 (en) Gesture device, operation method for same, and vehicle comprising same
CN109871118A (zh) 手势判断设备和程序
JP2016143157A (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP6633462B2 (ja) 情報処理装置および情報処理方法
JP5229912B2 (ja) 物体認識装置および物体認識方法
CN109348121B (zh) 一种图像采集方法及装置
WO2016170618A1 (ja) 自動試験装置
JP2014115821A (ja) 顔特徴抽出装置および顔認証システム
CN103945124B (zh) 一种智能相机的控制方法
JP2004348266A (ja) 画像処理装置
JP2007304721A (ja) 画像処理装置及び画像処理方法
US9826155B2 (en) Detecting a document
WO2007029592A1 (ja) 画像処理装置、画像判定方法及びプログラム
US20200034523A1 (en) User selection assistance apparatus, image forming apparatus, user selection assistance method, and storage medium storing user selection assistance program
JP2008000464A (ja) 認証装置および認証方法
JP2021037904A (ja) 対象物検知装置、対象物検知システムおよび対象物検知方法
CN109643154A (zh) 用于控制信息的显示的方法和系统、以及实施该方法的用户终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant before: AISIN SEIKI Kabushiki Kaisha