CN106547347A - 判定装置、判定方法和记录介质 - Google Patents
判定装置、判定方法和记录介质 Download PDFInfo
- Publication number
- CN106547347A CN106547347A CN201610523290.7A CN201610523290A CN106547347A CN 106547347 A CN106547347 A CN 106547347A CN 201610523290 A CN201610523290 A CN 201610523290A CN 106547347 A CN106547347 A CN 106547347A
- Authority
- CN
- China
- Prior art keywords
- region
- equipment
- regulation
- range image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 18
- 239000000523 sample Substances 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims description 26
- 210000004247 hand Anatomy 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 210000005224 forefinger Anatomy 0.000 description 13
- 210000003811 finger Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
判定装置包括：接受距离图像的输入单元，距离图像包含位于第1位置和第2位置之间的第1区域、位于第1位置和所述第2位置之间并且相对于第1区域位于第2位置侧的第2区域、以及被设置在距在第1位置和第2位置的前方设置的设备的操作单元的规定范围内的第3区域；基于距离图像，在第1区域和第2区域的至少一方的区域内探测第1对象物，在第3区域内探测第2对象物的探测单元；以及在第1对象物和第2对象物被探测到的情况中，在第1对象物被包含在第1区域中时，判定设备的操作者存在于第1位置，在第1对象物被包含在第2区域中时，判定为设备的操作者存在于第2位置的判定单元。
Description
技术领域
本发明涉及判定装置、判定方法和记录介质。
背景技术
近年来，已知对操作规定的设备的人物进行判定的技术。
例如在专利文献1中，公开了从摄像图像中提取操作者的手的重心，根据该重心在图像内设定的基线的左侧区域还是在右侧区域来判定操作者的装置。
现有技术文献
专利文献
专利文献1：日本特开2004-67031号公报
发明内容
可是，在专利文献1中记载的装置中，用于判定的区域是将摄像图像简单地二等分所得的区域，此外，用于判定的值只是重心，所以有误判定的顾虑。
本发明的一方式，提供能够更高精度地判定设备的操作者的判定装置、判定方法和记录介质。
本发明的一方式的判定装置采用的结构包括：输入单元，接受距离图像，所述距离图像包含：位于第1位置和第2位置之间的第1区域；位于所述第1位置和所述第2位置之间，并且相对于所述第1区域位于所述第2位置侧的第2区域；以及被设置在距在所述第1位置和所述第2位置的前方设置的设备的操作单元的规定范围内的第3区域，所述第1位置和所述第2位置之间的相对的位置被固定；
探测单元，基于所述距离图像，在所述第1区域和所述第2区域之中至少一方的区域内探测规定的大小以上的第1对象物，在所述第3区域内探测规定的大小以上的第2对象物；以及
判定单元，在所述第1对象物和所述第2对象物被探测到的情况中，在所述第1对象物被包含在所述第1区域中时，判定为所述设备的操作者存在于所述第1位置，另一方面，在所述第1对象物被包含在所述第2区域中时，判定为所述设备的操作者存在于所述第2位置。
再有，这些概括性的并且具体的方式，可以由系统、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
根据本发明，能够更高精度地判定设备的操作者。
附图说明
图1是表示本发明的实施方式的判定装置的结构的一例的框图。
图2A是表示第1区域、第2区域和第3区域的一例的俯视图
图2B是表示第1区域、第2区域和第3区域的一例的立体图。
图3A是表示第1座位的乘客要进行设备的操作的状态的一例的俯视图。
图3B是表示图3A所示的状态的一例的立体图。
图4A是表示第2座位的乘客要进行设备的操作的状态的一例的俯视图。
图4B是表示图4A所示的状态的一例的立体图。
图5是表示本发明的实施方式的判定装置的动作的流程的一例的流程图。
图6是表示第1区域和第2区域的变形例的俯视图。
图7A是表示第1区域和第2区域的变形例的立体图。
图7B是表示第1区域和第2区域的变形例的立体图。
图8是表示通过程序实现各单元的功能的计算机的硬件结构的一例的图。
具体实施方式
以下，对于本发明的各实施方式，参照附图详细地说明。其中，在各实施方式中，对具有同一功能的结构，附加同一标号，省略重复的说明。
首先，对于本发明的实施方式的判定装置100的结构的一例，使用图1进行说明。图1是表示本发明的实施方式的判定装置100的结构的一例的框图。
例如，图1所示的判定装置100、照相机200、以及设备300被装载在汽车、铁路车辆、船舶、飞机等的移动体上。在本实施方式中，以判定装置100、照相机200、以及设备300被装载在汽车上的情况列举为例进行说明。
例如，照相机200是测距照相机、立体照相机、TOF(Time Of Flight；飞行时间)方式的照相机等，拍摄车厢内的规定范围而获取距离图像，并将该距离图像输出到判定装置100。这里所谓的规定范围是，包含对车厢内的空间所设定的第1区域、第2区域、第3区域的范围。
这里，使用图2，说明第1区域、第2区域和第3区域的一例。图2A是表示从正上方观察车厢内时的第1区域、第2区域、第3区域的一例的俯视图。图2B是表示从车厢内的设备300侧观察图2A所示的第1区域、第2区域、第3区域的一例的立体图。
如图2A所示，在第1座位S1(第1位置的一例)坐着乘客P1，在第2座位S2(第2位置的一例)坐着乘客P2。第2座位S2与第1座位S1之间的相对位置关系被固定。在本实施方式中，作为例子，假设第1座位S1是驾驶座，乘客P1是驾驶员，第2座位S2是副驾驶座，乘客P2是同行乘客。
此外，如图2A所示，在第1座位S1和第2座位S2的前方设置设备300(细节后述)。假设设备300在第1座位S1和第2座位S2侧的面上，包括设备300的操作单元(未图示)。
如图2A所示，第1区域1和第2区域2被设定在第1座位S1和第2座位S2之间。第1区域1比第2区域2位于第1座位S1侧。第2区域2比第1区域1位于第2座位S2侧。在从正上方观察时第1区域1和第2区域2彼此平行。这样的平行的配置的情况下，探测单元120中的运算处理的负荷最轻。
如图2A所示，第3区域3以设备300的操作单元作为基准来设定。例如，在从正上方观察时，第3区域3被设定在设备300中包括了操作单元的面与第1区域1和第2区域2之间。
这样的第1区域1、第2区域2、以及第3区域3分别是如图2B所示那样的长方体形状。
以上，说明了第1区域1、第2区域2、以及第3区域3的一例。以下，返回到图1的说明。
设备300是用于汽车的设备。例如，设备300是导航装置、音频装置、空调装置、平板电脑、智能手机、后置照相机、侧面照相机、前置照相机、ETC车载器。此外，例如，设备300也可以是方向盘、换档杆(变速杆)，转向灯控制杆(转向信号开关)、雨刮杆(雨刮器开关)、车门锁开关、电动车窗的升降开关、发动机启动开关、油门踏板、制动器踏板、离合器踏板等。
设备300通过有线网络(例如，CAN：Controller Area Network；控制器区域网络)、无线网络(例如，无线LAN：Local Area Network；局域网络)、或有线网络和无线网络混合的网络与判定装置100连接。因而，设备300基于从判定装置100接受的控制信号(后述的第1控制信号或第2控制信号)被控制。
判定装置100包括输入单元110、探测单元120、判定单元130、控制单元140。
输入单元110从照相机200接受距离图像，将该距离图像输出到探测单元120。
探测单元120基于从输入单元110接受的距离图像，在第1区域1和第2区域2之中至少一方中探测规定的大小以上的第1对象物，在第3区域3中探测规定的大小以上的第2对象物。第1对象物例如是乘客的手臂，第2对象物例如是乘客的手。这里，手臂是指从肩到手腕之中的规定的部位。此外，手是指从手腕到指尖之中的规定的部位。
这里，使用图3、图4，说明探测单元120的探测处理的一例。
首先，使用图3，说明乘客P1进行设备300的操作时的探测处理。图3A是表示乘客P1要进行设备300的操作的状态的一例的俯视图。图3B是表示图3A所示的状态的一例的立体图。
如图3A所示，乘客P1将手臂11(第1对象物的一例)向设备300的方向伸展，用食指12(第2对象物的一例)要对设备300的操作单元进行操作。此时，如图3A及图3B所示，假设手臂11在第1区域1内，食指12在第3区域3内。这种情况下，如果在第1区域1内的物体的大小(例如，相当于物体的表面的部分的像素数)为规定值以上，则探测单元120探测为在第1区域1中有手臂11。此外，如果在第3区域3内的物体的大小(例如，相当于物体的表面的部分的像素数)为规定值以上，则探测单元120探测为在第3区域3中有食指12。
这样一来，探测单元120在第1区域1中探测到手臂11，并且在第3区域3中探测到食指12的情况下，将表示手臂11被包含在第1区域1中含意的探测结果信息输出到判定单元130。
接着，使用图4，说明乘客P2进行设备300的操作时的探测处理。图4A是表示乘客P2要进行设备300的操作的状态的一例的俯视图。图4B是表示图4A所示的状态的一例的立体图。
如图4A所示，乘客P2将手臂21(第1对象物的一例)向设备300的一方伸出，用食指22(第2对象物的一例)要对设备300的操作单元进行操作。此时，如图4A和图4B所示，手臂21在第2区域2内，食指22在第3区域3内。如果在第2区域2内的手臂21的大小(例如，相当于手臂的表面的部分的像素数)为规定值以上，则探测单元120探测为在第2区域2中有手臂21。此外，如果在第3区域3内食指22的大小(例如，相当于手指的表面的部分的像素数)为规定值以上，则探测单元120探测为在第3区域3中有食指22。
这样，探测单元120在第2区域2中探测到手臂21，并且在第3区域3中探测到食指22的情况下，将表示手臂21包含在第2区域2中意旨的探测结果信息输出到判定单元130。
再有，第1对象物的探测和第2对象物的探测可以在相同定时(timing)进行，也可以在不同的定时进行。
此外，在上述说明中，在例子中列举了手臂11仅在第1区域1存在的情况和手臂21仅在第2区域2存在的情况，但根据设备300的设置位置或设备300中的操作单元的配置位置，还发生向设备300伸出的规定的大小以上的手臂11(或手臂21)横跨第1区域1和第2区域2存在的情况。该情况下，探测单元120比较第1区域1中的手臂11(或手臂21)的部分的大小和第2区域2中的手臂11(或手臂21)的部分的大小，将表示在存在较大的一方的手臂11(或手臂21)的部分的区域中包含手臂11(或手臂21)的意旨的探测结果信息输出到判定单元130。例如，手臂11横跨存在于第1区域1和第2区域2中，第1区域1中的手臂11的部分的大小大于第2区域2中的手臂11的部分的大小的情况下，将表示手臂11包含在第1区域1中的意旨的探测结果信息输出到判定单元130。
以上，说明了探测单元120的探测处理的一例。以下，回到图1的说明。
判定单元130基于从探测单元120接受的探测结果信息，判定要进行设备300的操作的人(以下，也称为操作者)是乘客P1还是乘客P2。如上述，在本实施方式中，例如，乘客P1是驾驶员，乘客P2是同行乘客。
在探测结果信息表示在第1区域1中包含手臂11的意旨的情况下，判定单元130判定为乘客P1是设备300的操作者。
另一方面，在探测结果信息表示在第2区域2中包含手臂21的意旨的情况下，判定单元130判定为乘客P2是设备300的操作者。
然后，判定单元130将表示上述判定结果(设备300的操作者是乘客P1或是乘客P2的其中哪一位)的判定结果信息输出到控制单元140。
控制单元140基于从判定单元130接受的判定结果信息，生成对设备300进行控制的控制信号，将该控制信号输出到设备300。
例如，在判定结果信息表示乘客P1是设备300的操作者的情况下，控制单元140生成用于使对设备300的规定的操作受到限制的第1控制信号，并将该第1控制信号输出到设备300。
例如，在设备300是导航装置的情况下，第1控制信号为对设备300进行控制的信号，以便不显示全部的菜单，或者，第1控制信号为对设备300进行控制的信号，以便仅显示驾驶员使用的菜单。
设备300基于从控制单元140接受的第1控制信号而受到控制，例如，成为不接受全部的操作或一部分操作的状态。由此，驾驶员即乘客P1可对设备300进行的操作受到限制。因此，能够防止驾驶员因在驾驶中进行设备300的操作而可能发生的事故等。
另一方面，例如，在判定结果信息表示乘客P2是设备300的操作者的情况下，控制单元140生成用于使对设备300的规定的操作不受限制的第2控制信号，并将该第2控制信号输出到设备300。
例如，在设备300是导航装置的情况下，第2控制信号为对设备300进行控制的信号，以便显示全部的菜单。
设备300基于从控制单元140接受的第2控制信号而受到控制，例如，成为接受全部的操作的状态。由此，同行乘客即乘客P2对于设备300进行的操作不受限制。因此，与驾驶无关的同行乘客能够自由地进行设备300的操作。
再有，在上述说明中，控制单元140将生成的第1控制信号或第2控制信号输出到设备300，但也可以仅在表示同行乘客即乘客P2是设备300的操作者的情况下，将生成的第2控制信号输出到设备300。这种情况下，设备300仅在接受了第2控制信号的情况下，成为接受全部的操作的状态，在没有接受第2控制信号的情况下，是规定的操作受到限制的状态。由此，作为被输出到设备300的控制信号，不需要第1控制信号。
此外，在上述说明中，假定在第1座位S1是驾驶座(乘客P1是驾驶员)、第2座位S2是副驾驶座(乘客P2是同行乘客)的情况下，第1对象物包含在第1区域1中的情况下输出第1控制信号，第1对象物包含在第2区域2中的情况下输出第2控制信号，但不限定于此。例如，也可以假定在第1座位S1是副驾驶座(乘客P1是同行乘客)，第2座位S2是驾驶座(乘客P2是驾驶员)的情况下，第1对象物包含在第1区域1中的情况下输出第2控制信号，第1对象物包含在第2区域2中的情况下输出第1控制信号。
此外，在图1的例子中，判定装置100为包含控制单元140的结构，但判定装置100也可以为不包含控制单元140的结构。即，判定装置100为至少包含输入单元110、探测单元120、以及判定单元130的结构即可。
接着，使用图5说明本发明的实施方式的判定装置100的动作的一例。图5是表示本发明的实施方式的判定装置100的动作的流程的一例的流程图。
首先，输入单元110从照相机200接受距离图像(步骤S101)。如上述，距离图像是拍摄了包含车厢内的第1区域1、第2区域2、第3区域3的范围所得的图像。然后，输入单元110将从照相机200接受的距离图像输出到探测单元120。
接着，探测单元120基于从输入单元110接受的距离图像，在第1区域1和第2区域2之中至少一方中探测规定的大小以上的第1对象物，并且判定在第3区域3中是否探测到规定的大小以上的第2对象物(步骤S102)。如上述，例如，第1对象物是乘客P1的手臂11或乘客P2的手臂21。此外，如上述，例如，第2对象物是乘客P1的食指12或乘客P2的食指22。
在没有探测到第1对象物或第2对象物的任何一个的情况下(步骤S102：“否”)，流程回到步骤S101。
在探测到第1对象物和第2对象物两者的情况下(步骤S102：“是”)，探测单元120将探测结果信息输出到判定单元130。如上述，例如，在第1区域1中探测到手臂11，并且在第3区域3中探测到食指12的情况下，探测单元120将表示手臂11包含在第1区域1中的意旨的探测结果信息输出到判定单元130。此外，如上述，例如，在第2区域2中探测到手臂21，并且在第3区域3中探测到食指22的情况下，探测单元120将表示手臂21包含在第2区域2中的意旨的探测结果信息输出到判定单元130。
接着，判定单元130基于从探测单元120接受的探测结果信息，判定第1对象物包含在第1区域1和第2区域2的哪一个中(步骤S103)。
在探测结果信息表示第1对象物包含在第1区域1中的意旨的情况下(步骤S103：第1区域)，判定单元130判定为第1座位S1的乘客P1是设备300的操作者(步骤S104)。如上述，例如，第1座位S1是驾驶座，乘客P1是驾驶员。然后，判定单元130将表示第1座位S1的乘客P1是设备300的操作者的判定结果信息输出到控制单元140。
然后，控制单元140根据判定结果信息表示第1座位S1的乘客P1是设备300的操作者，生成用于使对设备300的规定的操作受到限制的第1控制信号，并将该第1控制信号输出到设备300(步骤S105)。设备300基于第1控制信号受到控制，例如，成为不接受全部的操作或一部分操作的状态。由此，使驾驶员即乘客P1对于设备300进行的操作受到限制。
另一方面，在探测结果信息表示第1对象物包含在第2区域2中的意旨的情况下(步骤S103：第2区域)，判定单元130判定为第2座位S2的乘客P2是设备300的操作者(步骤S106)。如上述，例如，第2座位S2是副驾驶座，乘客P2是同行乘客。然后，判定单元130将表示第2座位S2的乘客P2是设备300的操作者的判定结果信息输出到控制单元140。
然后，控制单元140根据判定结果信息表示第2座位S2的乘客P2是设备300的操作者，生成用于使对设备300的规定的操作不受限制的第2控制信号，并将该第2控制信号输出到设备300(步骤S107)。设备300基于第2控制信号受到控制，例如，成为接受全部的操作的状态。由此，同行乘客即乘客P2对于设备300能够进行的操作不受限制。
如以上说明，根据本实施方式的判定装置100，在比第2座位S2设定在第1座位S1侧的第1区域1、以及比第1座位S1设定在第2座位S2侧的第2区域2的至少一方中探测到第1对象物，并且在以设备300的操作单元作为基准设定的第3区域3中探测到第2对象物的情况下，根据第1对象物包含在第1区域1和第2区域2的哪一个中，判定操作者。因此，判定装置100能够更高精度地判定设备的操作者，能够进行更合适的控制。
以上，说明了本发明的实施方式，但本发明不限定于实施方式的说明。以下，说明各变形例。
<变形例1>
在实施方式中，列举说明了第1区域1和第2区域2从正上方观察时为平行的例子(参照图2A)，但不限定于此。例如，如图6所示，第1区域1和第2区域2在从正上方观察时也可以不平行。
<变形例2>
此外，在实施方式中，列举说明了第1区域1和第2区域2分别被各自设定1个的例子(参照图2B)，但不限定于此。例如，图7A所示，可以在上下方向上设定2个第1区域1a、1b，也可以在上下方向上设定2个第2区域2a、2b。这样，通过增加第1区域和第2区域的数，能够同时地判定有无存在手腕、肘、肩等与人的手臂关联的多个部位。由此，能够削减误判定人体的手臂以外的部分进入到第1区域1或第2区域2中的状态的情况，能够更正确地判定与在第3区域3中所探测的第2对象物关联的第1对象物是驾驶员或同行乘客的哪一位。
<变形例3>
此外，在实施方式中，列举说明了第1区域1和第2区域2的形状为长方体形状的例子(参照图2B)，但不限定于此。例如，如图7B所示，也可以设定圆柱形状的第1区域1c和第2区域2c。该情况下，探测单元120也可以通过使用计算公式或检查表，判定第1对象物是否在第1区域1c和第2区域2c的至少一方中。例如，检查表是将判定为第1对象物在第1区域1c或第2区域2c的坐标(x，y，z)列表所得的表。再有，与圆柱形状相比，长方体形状的运算处理的负荷较轻。此外，除了上述的圆柱形状以外，例如，第1区域和第2区域也可以是圆筒形、将圆筒形纵向半分割的形状、将圆筒形纵向半分割所得的形状模拟为第1对象物的形状(例如，肘弯曲的形状)。
<变形例4>
此外，在实施方式和变形例3中，列举例子说明了第1区域和第2区域为规定的立体形状的情况，但也可以使用平面。例如，在使用1个平面的情况下，也可以通过判定第1对象物比该平面处于上还是下的哪一个，判定第1对象物的存在。此外，例如，在使用2个平面的情况下，也可以通过判定第1对象物是否在2个平面之间，判定第1对象物的存在。
<变形例5>
此外，在实施方式中，列举说明了第1区域1和第2区域2从正上方观察时处于第1座位S1和第2座位S2之间的例子(参照图2A)，但不限定于此。例如，第1区域1的一部分从正上方观察时也可以与第1座位S1重叠。此外，第2区域2的一部分从正上方观察时也可以与第2座位S2重叠。
<变形例6>
此外，在实施方式中，列举说明了第1区域1和第2区域2从正上方观察时隔开规定的间隔来设定的例子(参照图2A)，但不限定于此。例如，第1区域1的一部分和第2区域2的一部分从正上方观察时也可以重叠。
<变形例7>
此外，在实施方式中，列举说明了第3区域3在从正上方观察时距配备了设备300的操作单元的面隔开规定的间隔来设定的例子(参照图2A)，但不限定于此。例如，第3区域3可以其一面重叠在配备了设备300的操作单元的面上，此外，也可以包含设备300的一部分或全体。
<变形例8>
此外，在实施方式中，列举说明了对于1个设备300设定1个第3区域3的例子，但不限定于此。例如，在设备300为多个的情况下，也可以对每个设备300设定第3区域3。此外，在多个设备300的设置位置靠近的情况下，也可以对应于那些多个设备300设定1个第3区域3。再有，在第3区域3被设定多个的情况下，第1区域1和第2区域2也可以被设定多个，以对应于第3区域3的各个区域。
<变形例9>
此外，在实施方式中，列举说明了第1对象物是手臂，第2对象物是手指(手)的例子，但不限定于此。例如，第1对象物也可以是腿，第2对象物是脚。这里，腿是从腿根(骨盆)到脚踝之中的规定的部位。此外，脚是是从脚踝到脚指尖之中的规定的部位。此外，例如，第1对象物可以是从规定的手的手指的指根到第1关节的部分(中节和近节)或手背，也可以是从该手指的第1关节到指尖的部分(末节)。此外，例如，第1对象物也可以是肘，第2对象物是手指。再有，第1区域1、第2区域2、以及第3区域3根据部位(第1对象物和第2对象物)的设定而适当设定。
<变形例10>
此外，在实施方式中，当第1座位S1和第2座位S2在规定方向(例如，上下方向、前后方向、左右方向)上可移动的情况下，控制单元140根据移动后的座位上坐着的乘客对设备300进行操作的情况下的第1对象物和第2对象物的存在位置，也可以变更第1区域1和第2区域2之中至少一方的范围(例如，形状、大小)。对座位的移动后的每个位置，变更的范围基于通过实验等得到的值而预先确定。再有，控制单元140可以从照相机200拍摄的距离图像来识别座位的移动后的位置，此外，也可以从可检测座位的位置的传感器等通过车内网络接受表示座位的移动后的位置的信息。
此外，在第1座位S1和第2座位S2可斜倚的情况下，控制单元140根据在斜倚后的座位上坐着的乘客对设备300进行操作的情况下的第1对象物和第2对象物的存在位置，也可以变更第1区域1和第2区域2之中至少一方的范围(例如，形状、大小)。对座位的斜倚后的每个角度，变更的范围基于通过实验等得到的值而预先确定。此外，变更的范围也可以基于乘客的体格来确定。
<变形例11>
此外，在实施方式中，列举说明了第1对象物包含在第1区域1中的情况下输出第1控制信号，第1对象物包含在第2区域2中的情况下输出第2控制信号的例子，但不限定于此。例如，也可以在第1对象物包含在第1区域1中的情况下输出第2控制信号，在第1对象物包含在第2区域2中的情况下输出第1控制信号。
例如，在图2A中，假设设备300是相对设备300的操作在汽车的行驶的安全方面产生影响的设备(例如，方向盘、变速杆、车门开关等)，乘客P1是驾驶员，乘客P2是同行乘客。这种情况下，也可以在第1对象物包含在第1区域1中的情况下，控制单元140输出不限制对设备300的操作的第2控制信号，在第1对象物包含在第2区域2中的情况下，输出完全限制对设备300的操作的第1控制信号。由此，能够防止同行乘客不经意地操作设备300，能够确保行驶中的安全性。
<变形例12>
此外，在实施方式中，列举说明了第1座位S1是驾驶座(乘客P1是驾驶员)，第2座位S2是副驾驶座(乘客P2是同行乘客)的例子，但不限定于此。例如，也可以第1座位S1是副驾驶座(乘客P1是同行乘客)，第2座位S2是驾驶座(乘客P2是驾驶员)。该情况下，如上述，也可以在第1对象物被包含在第1区域1中的情况下输出第2控制信号，在第1对象物被包含在第2区域2中的情况下输出第1控制信号。
<变形例13>
此外，在实施方式中，判定单元130也可以在操作者的判定后，将表示该判定的结果的判定结果信息和该判定中使用的探测结果信息输出到设备300以外的装置(例如，存储装置、通信装置等)。被输出到设备300以外的装置的各信息，例如，也可以作为大数据而灵活使用。再有，优选在判定结果信息或探测结果信息中，包含进行判定或探测的时刻的信息。
<变形例14>
此外，在实施方式中，列举说明了判定装置100、照相机200、以及设备300被配备在汽车上的例子，但不限定于此。判定装置100、照相机200、以及设备300可以配备在汽车以外的移动体(例如，铁路车辆、船舶、飞机等)上，也可以配备在移动体以外的场所。
以上，说明了本发明的实施方式和变形例。
图8是表示通过程序实现上述实施方式和变形例中的各单元的功能的计算机的硬件结构的图。
如图8所示，计算机2100包括输入按钮、触摸板等的输入装置2101、显示器、扬声器等的输出装置2102、CPU(Central Processing Unit；中央处理器)2103、ROM(Read OnlyMemory；只读存储器)2104、RAM(Random Access Memory；随机存取存储器)2105。此外，计算机2100包括从硬盘装置、SSD(Solid State Drive；固态硬盘)等的存储装置2106、DVD-ROM(Digital Versatile Disk Read Only Memory；数字多功能磁盘只读存储器)、USB(Universal Serial Bus；通用串行总线)存储器等的记录介质中读取信息的读取装置2107、通过网络进行通信的收发装置2108。上述的各单元通过总线2109连接。
然后，读取装置2107从记录了用于实现上述各单元的功能的程序的记录介质中读取该程序，使其存储在存储装置2106中。或者，收发装置2108与网络上连接的服务器装置进行通信，使从服务器装置下载的用于实现上述各单元的功能的程序存储在存储装置2106中。
然后，CPU2103将存储装置2106中存储的程序复制在RAM2105中，通过从RAM2105中顺序读出并执行在该程序中包含的指令，实现上述各单元的功能。此外，在执行程序时，在RAM2105或存储装置2106中，存储通过在以各实施方式中论述的各种处理得到的信息，被适当利用。
工业实用性
本发明的判定装置、判定方法、判定程序以及记录介质，在判定对规定的设备进行操作的人物方面是有用的。
标号说明
1、1a、1b、1c 第1区域
2、2a、2b、2c 第2区域
3 第3区域
11、21 手臂
12、22 食指
100 判定装置
110 输入单元
120 探测单元
130 判定单元
140 控制单元
200 照相机
300 设备
2101 输入装置
2102 输出装置
2103 CPU
2104 ROM
2105 RAM
2106 存储装置
2107 读取装置
2108 收发装置
2109 总线
Claims (7)
1.判定装置，包括：
输入单元，接受距离图像，所述距离图像包含：位于第1位置和第2位置之间的第1区域；位于所述第1位置和所述第2位置之间，并且相对于所述第1区域位于所述第2位置侧的第2区域；以及被设置在距在所述第1位置和所述第2位置的前方设置的设备的操作单元的规定范围内的第3区域，所述第1位置和所述第2位置之间的相对的位置被固定；
探测单元，基于所述距离图像，在所述第1区域和所述第2区域之中至少一方的区域内探测规定的大小以上的第1对象物，在所述第3区域内探测规定的大小以上的第2对象物；以及
判定单元，在所述第1对象物和所述第2对象物被探测到的情况中，在所述第1对象物被包含在所述第1区域中时，判定为所述设备的操作者存在于所述第1位置，另一方面，在所述第1对象物被包含在所述第2区域中时，判定为所述设备的操作者存在于所述第2位置。
2.如权利要求1所述的判定装置，还包括：
控制单元，基于所述判定单元的判定结果，输出控制信号，
所述控制单元基于所述设备的操作者的位置，将用于限制所述设备的规定的操作的所述控制信号、或用于使所述设备的规定的操作不受限制的所述控制信号输出到所述设备。
3.如权利要求1所述的判定装置，
所述第1对象物是手臂，
所述第2对象物是手。
4.如权利要求1所述的判定装置，
所述第1区域为长方体形状或圆柱形状的其中之一，
所述第2区域为长方体形状或圆柱形状的其中之一。
5.如权利要求1所述的判定装置，
所述第1位置和所述第2位置是在规定方向上可移动的座位，
所述控制单元
根据所述座位的移动后的位置，变更所述第1区域和所述第2区域之中至少一方的范围。
6.判定方法，包括以下步骤：
接受距离图像的步骤，所述距离图像包含：位于第1位置和第2位置之间的第1区域；位于所述第1位置和所述第2位置之间，并且相对于所述第1区域位于所述第2位置侧的第2区域；以及被设置在距在所述第1位置和所述第2位置的前方设置的设备的操作单元的规定范围内的第3区域，所述第1位置和所述第2位置之间的相对的位置被固定；
基于所述距离图像，在所述第1区域和所述第2区域之中至少一方的区域内探测规定的大小以上的第1对象物，在所述第3区域内探测规定的大小以上的第2对象物的步骤；以及
在所述第1对象物和所述第2对象物被探测到的情况中，在所述第1对象物被包含在所述第1区域中时，判定为所述设备的操作者存在于所述第1位置，另一方面，在所述第1对象物被包含在所述第2区域中时，判定为所述设备的操作者存在于所述第2位置的步骤。
7.记录介质，是记录了在判定对规定的设备进行操作的人物的判定装置中所执行的判定程序的计算机可读取的非一时性的记录介质，其使所述判定装置的计算机执行以下处理：
接受距离图像的处理，所述距离图像包含：位于第1位置和第2位置之间的第1区域；位于所述第1位置和所述第2位置之间，并且相对于所述第1区域位于所述第2位置侧的第2区域；以及被设置在距在所述第1位置和所述第2位置的前方设置的设备的操作单元的规定范围内的第3区域，所述第1位置和所述第2位置之间的相对的位置被固定；
基于所述距离图像，在所述第1区域和所述第2区域之中至少一方的区域内探测规定的大小以上的第1对象物，在所述第3区域内探测规定的大小以上的第2对象物的处理；以及
在所述第1对象物和所述第2对象物被探测到的情况中，在所述第1对象物被包含在所述第1区域中时，判定为所述设备的操作者存在于所述第1位置，另一方面，在所述第1对象物被包含在所述第2区域中时，判定为所述设备的操作者存在于所述第2位置的处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-184903 | 2015-09-18 | ||
| JP2015184903A JP2017059103A (ja) | 2015-09-18 | 2015-09-18 | 判定装置、判定方法、判定プログラムおよび記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106547347A true CN106547347A (zh) | 2017-03-29 |
Family
ID=57233275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610523290.7A Pending CN106547347A (zh) | 2015-09-18 | 2016-07-05 | 判定装置、判定方法和记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20170083777A1 (zh) |
| EP (1) | EP3144850A1 (zh) |
| JP (1) | JP2017059103A (zh) |
| CN (1) | CN106547347A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110221352A (zh) * | 2018-03-01 | 2019-09-10 | 欧姆龙株式会社 | 判定装置以及判定装置的控制方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6650595B2 (ja) * | 2015-09-24 | 2020-02-19 | パナソニックＩｐマネジメント株式会社 | 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体 |
| CN109558000B (zh) * | 2017-09-26 | 2021-01-22 | 京东方科技集团股份有限公司 | 一种人机交互方法及电子设备 |
| JP2019139633A (ja) * | 2018-02-14 | 2019-08-22 | 京セラ株式会社 | 電子機器、移動体、プログラムおよび制御方法 |
| DE102018004954A1 (de) * | 2018-06-22 | 2019-12-24 | Faurecia Innenraum Systeme Gmbh | Bedienelement zum Steuern eines Fahrzeugs |
| WO2020093344A1 (en) | 2018-11-09 | 2020-05-14 | Beijing Didi Infinity Technology And Development Co., Ltd. | System and method for detecting in-vehicle conflicts |
| KR20210017515A (ko) * | 2019-08-08 | 2021-02-17 | 현대자동차주식회사 | 차량의 모션 인식 장치 및 방법 |
| JP7375611B2 (ja) | 2020-02-28 | 2023-11-08 | 日本精機株式会社 | 操作装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004067031A (ja) | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | 操作者判別装置およびこれを用いた車載装置 |
| WO2014073403A1 (ja) * | 2012-11-08 | 2014-05-15 | アルプス電気株式会社 | 入力装置 |
| KR101537936B1 (ko) * | 2013-11-08 | 2015-07-21 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| JP5899251B2 (ja) * | 2014-01-29 | 2016-04-06 | 本田技研工業株式会社 | 車両用入力装置 |
-
2015
- 2015-09-18 JP JP2015184903A patent/JP2017059103A/ja active Pending
-
2016
- 2016-07-05 CN CN201610523290.7A patent/CN106547347A/zh active Pending
- 2016-08-22 US US15/243,814 patent/US20170083777A1/en not_active Abandoned
- 2016-08-30 EP EP16186323.8A patent/EP3144850A1/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110221352A (zh) * | 2018-03-01 | 2019-09-10 | 欧姆龙株式会社 | 判定装置以及判定装置的控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017059103A (ja) | 2017-03-23 |
| US20170083777A1 (en) | 2017-03-23 |
| EP3144850A1 (en) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106547347A (zh) | 判定装置、判定方法和记录介质 | |
| US7495547B2 (en) | Emergency-call device for a motor vehicle | |
| JP6688990B2 (ja) | 識別装置、識別方法、識別プログラムおよび記録媒体 | |
| US11256936B2 (en) | Vehicle occupant count monitoring system | |
| CN107004363A (zh) | 图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序 | |
| JP6507015B2 (ja) | 運転者状態判定装置 | |
| JP2022530605A (ja) | 子供状態検出方法及び装置、電子機器、記憶媒体 | |
| JP2020109578A (ja) | 情報処理装置及びプログラム | |
| JP2008139553A (ja) | 運転適性診断方法、運転適性診断の評価基準決定方法、運転適性診断プログラム | |
| CN107428252A (zh) | 用于在自主驾驶模式期间操作机动车辆的通信装置的方法，通信装置以及机动车辆 | |
| CN111601736A (zh) | 乘客检测装置、乘客检测系统以及乘客检测方法 | |
| CN112689587A (zh) | 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法 | |
| JP7068156B2 (ja) | 情報処理装置及びプログラム | |
| JP6999540B2 (ja) | 情報処理装置及びプログラム | |
| KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| CN111413961A (zh) | 控制装置以及计算机可读存储介质 | |
| JP6772775B2 (ja) | 運転支援装置および運転支援方法 | |
| US11564073B2 (en) | System and method for emotion detection and inter-vehicle communication | |
| US20200193197A1 (en) | Information processing apparatus and computer-readable storage medium | |
| JP2020095502A (ja) | 情報処理装置及びプログラム | |
| JP6909986B2 (ja) | 識別装置 | |
| US11443533B2 (en) | Information processing apparatus and computer readable storage medium | |
| JP2018156212A (ja) | 体格判定装置、体格判定方法およびプログラム | |
| CN104364821B (zh) | 人检测装置 | |
| CN116580387A (zh) | 智能座舱的行为警示方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170329 |