JP2020119434A - Motion identification device, computer program, and storage medium - Google Patents

Motion identification device, computer program, and storage medium Download PDF

Info

Publication number
JP2020119434A
JP2020119434A JP2019012197A JP2019012197A JP2020119434A JP 2020119434 A JP2020119434 A JP 2020119434A JP 2019012197 A JP2019012197 A JP 2019012197A JP 2019012197 A JP2019012197 A JP 2019012197A JP 2020119434 A JP2020119434 A JP 2020119434A
Authority
JP
Japan
Prior art keywords
body part
processor
occupant
determined
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019012197A
Other languages
Japanese (ja)
Other versions
JP7212531B2 (en
Inventor
佑記 名和
Yuki Nawa
佑記 名和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2019012197A priority Critical patent/JP7212531B2/en
Publication of JP2020119434A publication Critical patent/JP2020119434A/en
Application granted granted Critical
Publication of JP7212531B2 publication Critical patent/JP7212531B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

To enhance accuracy in detecting rotating and sweeping motions by a driver in a cabin.SOLUTION: A processor receives a dataset indicative of hand positions of a driver in a cabin (STEP 11). The processor obtains changes in hand movement speed over time based on the dataset (STEP 12). When a distribution width of the movement speed over time is less than a threshold, the processor determines that the driver has rotated his/her hand (STEP 14).SELECTED DRAWING: Figure 5

Description

本発明は、車室内の乗員による動作を判別する装置に関連する。本発明は、当該装置が備えているプロセッサにより実行されるコンピュータプログラム、および当該コンピュータプログラムが記憶された記憶媒体にも関連する。 The present invention relates to a device for discriminating a motion by an occupant in a passenger compartment. The present invention also relates to a computer program executed by a processor included in the device, and a storage medium having the computer program stored therein.

特許文献１に開示されているように、カメラで撮影したユーザの手の動きに基づいて、所望の処理に関連付けられた動作を検出する装置が知られている。 As disclosed in Patent Document 1, there is known a device that detects a motion associated with a desired process based on a motion of a user's hand photographed by a camera.

特開２００１−３０６２４３号公報JP 2001-306243A

本発明の目的は、車室内の乗員による回転動作と払い動作の検出精度を高めることである。 An object of the present invention is to improve the detection accuracy of the rotation operation and the paying operation by an occupant in the passenger compartment.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値未満である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a motion determining device,
An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Obtaining the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the temporal change is less than a threshold value, it is determined that the occupant has performed a rotating motion on the body part.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a motion determining device,
An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Obtaining the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the change over time is equal to or more than a threshold value, it is determined that the occupant has performed the paying operation at the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値未満である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine an action by the body part based on a data set indicating the position of the body part of the occupant in the vehicle interior,
Execution of the computer program causes the processor to
Obtaining the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the temporal change is less than a threshold value, it is determined that the occupant has performed a rotating motion on the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine an action by the body part based on a data set indicating the position of the body part of the occupant in the vehicle interior,
Execution of the computer program causes the processor to
Obtaining the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the change over time is equal to or more than a threshold value, it is determined that the occupant has performed the paying operation at the body part.

車室内の乗員の身体部位による払い動作終了後に元の位置へ当該身体部位を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の身体部位の移動速度の分布幅は、回転動作中の身体部位の移動速度の分布幅と異なる。上記のような構成によれば、身体部位の移動速度の分布幅に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ身体部位を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室内の乗員による回転動作と払い動作の判別精度を高めることができる。 The operation of returning the body part to its original position after the end of the paying operation by the body part of the passenger in the vehicle compartment is easily mistaken as a rotating operation. However, the distribution width of the moving speed of the body part during the returning operation is different from the distribution width of the moving speed of the body part during the rotating operation. According to the above-mentioned configuration, since the rotation operation and the payout operation are determined based on the distribution width of the moving speed of the body part, the operation of returning the body part to the original position after the end of the payout operation is the rotation operation. The possibility of being mistakenly recognized can be suppressed. Therefore, it is possible to improve the accuracy of discrimination between the rotation operation and the paying operation by the passenger in the vehicle compartment.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a motion determining device,
An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Specifying the movement start time and movement end time of the body part,
From the movement start time to the movement end time, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
If the re-acceleration is not determined, it is determined that the occupant has performed a rotation motion on the body part.

上記の目的を達成するための一態様は、動作判別装置であって、
車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a motion determining device,
An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Specifying the movement start time and movement end time of the body part,
From the movement start time to the movement end time, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
When the re-acceleration is determined, it is determined that the occupant has performed the paying operation at the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine an action by the body part based on a data set indicating the position of the body part of the occupant in the vehicle interior,
Execution of the computer program causes the processor to
Specifying the movement start time and movement end time of the body part,
From the movement start time to the movement end time, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
If the re-acceleration is not determined, it is determined that the occupant has performed a rotating motion on the body part.

上記の目的を達成するための一態様は、車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する。 One aspect for achieving the above object is a computer program that causes a processor to determine an action by the body part based on a data set indicating the position of the body part of the occupant in the vehicle interior,
Execution of the computer program causes the processor to
Specifying the movement start time and movement end time of the body part,
From the movement start time to the movement end time, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
When the re-acceleration is determined, it is determined that the occupant has performed the paying operation at the body part.

車室内の乗員の身体部位による払い動作終了後に元の位置へ当該身体部位を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の身体部位の移動速度の経時変化履歴は、閾値速度未満までの減速後の再加速の有無において、回転動作中の身体部位の移動速度の経時変化履歴と異なる。上記のような構成によれば、身体部位の移動速度の経時変化履歴に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ身体部位を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室内の乗員による回転動作と払い動作の判別精度を高めることができる。 The operation of returning the body part to its original position after the end of the paying operation by the body part of the passenger in the vehicle compartment is easily mistaken as a rotating operation. However, the change history of the moving speed of the body part during the returning operation differs from the change history of the moving speed of the body part during the rotating operation, with or without re-acceleration after deceleration to less than the threshold speed. According to the above configuration, the rotation operation and the payout operation are discriminated based on the history of changes in the moving speed of the body part. Therefore, the operation of returning the body part to the original position after the end of the payout operation is the rotation operation. It is possible to suppress the possibility of being mistaken for. Therefore, it is possible to improve the accuracy of discrimination between the rotation operation and the paying operation by the passenger in the vehicle compartment.

上記の目的を達成するための一態様は、上記のコンピュータプログラムを記憶している記憶媒体である。 One aspect for achieving the above object is a storage medium storing the above computer program.

一実施形態に係る動作判別システムの構成を例示している。1 illustrates the configuration of a motion determination system according to an embodiment. 図１の動作判別システムが搭載される車両の一部を例示している。The part of the vehicle in which the operation determination system of FIG. 1 is mounted is illustrated. 図１の動作判別装置により実行される処理を説明するための図である。FIG. 3 is a diagram for explaining a process executed by the operation determination device of FIG. 1. 図１の動作判別装置により実行される処理を説明するための図である。FIG. 3 is a diagram for explaining a process executed by the operation determination device of FIG. 1. 図１の動作判別装置により実行される処理の一例を示している。3 illustrates an example of processing executed by the operation determination device in FIG. 1. 図１の動作判別装置により実行される処理の別例を示している。9 shows another example of the processing executed by the operation determination device in FIG.

添付の図面を参照しつつ、実施形態例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。 Exemplary embodiments are described in detail below with reference to the accompanying drawings. In the drawings used in the following description, the scale is appropriately changed in order to make each member recognizable.

図１は、一実施形態に係る動作判別システム１の構成を模式的に示している。動作判別システム１は、ＴＯＦ（Time of Flight）カメラ２と動作判別装置３を含んでいる。図２は、動作判別システム１が搭載される車両４の一部を示している。矢印Ｌは、車両４の前後方向に沿う向きを示している。矢印Ｈは、車両４の高さ方向に沿う向きを示している。 FIG. 1 schematically shows the configuration of a motion determination system 1 according to an embodiment. The motion discrimination system 1 includes a TOF (Time of Flight) camera 2 and a motion discrimination device 3. FIG. 2 shows a part of a vehicle 4 in which the operation determination system 1 is mounted. The arrow L indicates the direction along the front-rear direction of the vehicle 4. The arrow H indicates the direction along the height direction of the vehicle 4.

ＴＯＦカメラ２は、図２に示される車両４の車室４１内における適宜の位置に配置され、車室４１内の運転者５の手５１を含む画像を取得する。運転者５は、乗員の一例である。手５１は、身体部位の一例である。 The TOF camera 2 is arranged at an appropriate position in the vehicle interior 41 of the vehicle 4 shown in FIG. 2 and acquires an image including the hand 51 of the driver 5 in the vehicle interior 41. The driver 5 is an example of an occupant. The hand 51 is an example of a body part.

図１に示されるように、ＴＯＦカメラ２は、取得された画像に対応する画像データセットＩＤを出力する。画像データセットＩＤは、複数の画素データセットを含んでいる。複数の画素データセットの各々は、取得された画像を構成する複数の画素の対応する一つに関連づけられている。 As shown in FIG. 1, the TOF camera 2 outputs the image data set ID corresponding to the acquired image. The image data set ID includes a plurality of pixel data sets. Each of the plurality of pixel data sets is associated with a corresponding one of the plurality of pixels that make up the acquired image.

ＴＯＦカメラ２は、発光素子と受光素子を備えている。発光素子は、検出光として例えば赤外光を出射する。出射された検出光は、対象物によって反射され、戻り光として受光素子に入射する。検出光が発光素子より出射されてから戻り光が受光素子に入射するまでの時間が測定されることにより、戻り光を生じた対象物までの距離が算出される。ＴＯＦカメラ２により取得される画像を構成する複数の画素の各々について当該距離が算出されることにより、各画素は、画像における二次元的な位置座標（Ｕ，Ｖ）に加えて、当該画素に対応する対象物の一部までの距離（奥行き）を示す距離情報ｄ（Ｕ，Ｖ）を含む。 The TOF camera 2 includes a light emitting element and a light receiving element. The light emitting element emits, for example, infrared light as detection light. The emitted detection light is reflected by the object and enters the light receiving element as return light. By measuring the time from the emission of the detection light from the light emitting element to the incidence of the return light on the light receiving element, the distance to the object that generated the return light is calculated. By calculating the distance for each of a plurality of pixels forming the image acquired by the TOF camera 2, each pixel is added to the pixel in addition to the two-dimensional position coordinates (U, V) in the image. It includes distance information d(U,V) indicating the distance (depth) to a part of the corresponding object.

したがって、ＴＯＦカメラ２から出力される画像データセットＩＤに含まれる画素データセットの各々は、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）を含む。 Therefore, each of the pixel data sets included in the image data set ID output from the TOF camera 2 includes position coordinates (U,V) and distance information d(U,V).

動作判別装置３は、車両４における適宜の位置に搭載される。動作判別装置３は、ＴＯＦカメラ２から提供される画像データセットＩＤに基づいて、運転者５の手５１による動作を判別し、当該動作に関連付けられた機能を発揮させるための信号あるいはデータを生成する装置である。 The motion determination device 3 is mounted at an appropriate position on the vehicle 4. The motion discriminating device 3 discriminates a motion by the hand 51 of the driver 5 based on the image data set ID provided from the TOF camera 2, and generates a signal or data for exhibiting a function associated with the motion. It is a device that does.

図１に示されるように、動作判別装置３は、入力インターフェース３１を備えている。入力インターフェース３１は、ＴＯＦカメラ２から出力された画像データセットＩＤを受け付ける。 As shown in FIG. 1, the operation determination device 3 includes an input interface 31. The input interface 31 receives the image data set ID output from the TOF camera 2.

動作判別装置３は、プロセッサ３２を備えている。プロセッサ３２は、入力インターフェース３１に入力された画像データセットＩＤに基づいて、運転者５の手５１による回転動作と払い動作を判別する処理を実行する。 The motion determination device 3 includes a processor 32. The processor 32 executes a process of discriminating between the rotating motion and the paying motion by the hand 51 of the driver 5, based on the image data set ID input to the input interface 31.

図３の（Ａ）は、手５１による回転動作を示している。運転者５が円弧状の軌跡を描くように手５１を動かすことにより、回転動作が成立する。図３の（Ｂ）は、手５１による払い動作を示している。運転者５が例えば左上方から右下方へ斜めに手５１を動かすことにより、払い動作が成立する。 FIG. 3A shows the rotating operation by the hand 51. When the driver 5 moves the hand 51 so as to draw an arcuate locus, the rotation operation is established. FIG. 3B shows the paying operation by the hand 51. The driver 5 moves the hand 51 diagonally from the upper left to the lower right, for example, to complete the payout operation.

しかしながら、回転動作を行なおうとする運転者５の手５１が必ずしも真円に近い軌跡を描くように動くとは限らない。他方、払い動作を行なった後の運転者５の手５１が元の位置に戻される際、図３の（Ｂ）に破線で示されるように、意図せず円弧状の軌跡を描いてしまう場合がある。回転動作の軌跡が真円から逸脱するほど、払い動作の軌跡が円弧状に近づくほど、両動作の識別が難しくなる。 However, the hand 51 of the driver 5 who tries to perform the rotating operation does not always move so as to draw a trajectory close to a perfect circle. On the other hand, when the hand 51 of the driver 5 after returning to the original position is returned to the original position, as shown by the broken line in FIG. There is. As the locus of the rotational movement deviates from the perfect circle and the locus of the paying movement approaches an arc, it becomes difficult to identify the two movements.

この問題に対処するために、動作判別装置３は、運転者５の手５１の移動速度の経時変化に着目する。図４の（Ａ）は、回転動作中における手５１の移動速度の経時変化の一例を示している。図４の（Ｂ）は、払い動作中における手５１の移動速度の経時変化の一例を示している。 In order to deal with this problem, the motion determination device 3 pays attention to the change over time in the moving speed of the hand 51 of the driver 5. FIG. 4A shows an example of the change over time in the moving speed of the hand 51 during the rotating operation. FIG. 4B shows an example of a temporal change in the moving speed of the hand 51 during the paying operation.

図４の（Ａ）に示されるように、手５１による回転動作は、時刻ｔ１に開始される。時刻ｔ２に最高速度Ｖｍに達した後は、ほぼ一定の速度で円弧を描く動作がなされる。時刻ｔ３において減速が開始され、時刻ｔ４において回転動作が終了される。 As shown in FIG. 4A, the rotation operation by the hand 51 is started at time t1. After reaching the maximum speed Vm at time t2, an operation of drawing an arc at a substantially constant speed is performed. Deceleration is started at time t3, and the rotating operation is ended at time t4.

図４の（Ｂ）に示されるように、手５１による払い動作は、時刻ｔ１に開始される。時刻ｔ２に最高速度Ｖｍに達した後、減速を経て時刻ｔ３に払い動作が終了される。時刻ｔ４から時刻ｔ５の間に現れる加速と減速は、図３の（Ｂ）において破線で示される手５１を戻す動作に対応している。 As shown in FIG. 4B, the paying operation by the hand 51 is started at time t1. After reaching the maximum speed Vm at time t2, the paying operation is finished at time t3 after deceleration. The acceleration and deceleration that appear between time t4 and time t5 correspond to the operation of returning the hand 51 shown by the broken line in FIG.

両図の比較から判るように、回転動作と払い動作とでは、手５１の移動速度の分布幅が相違している。回転動作中における手５１の移動速度の分布幅は比較的小さいのに対して、払い動作中における手５１の移動速度の分布幅は比較的大きい。プロセッサ３２は、この相違点に基づいて回転動作と払い動作の識別を行なう。図５は、プロセッサ３２により行なわれる処理の一例を示している。 As can be seen from the comparison of both figures, the distribution width of the moving speed of the hand 51 is different between the rotation operation and the wiping operation. The distribution width of the moving speed of the hand 51 during the rotating operation is relatively small, whereas the distribution width of the moving speed of the hand 51 during the paying operation is relatively large. The processor 32 discriminates the rotating operation and the paying operation based on this difference. FIG. 5 shows an example of processing performed by the processor 32.

プロセッサ３２は、ＴＯＦカメラ２から出力された画像データセットＩＤに基づいて、運転者５の手５１の三次元空間における位置を示す位置データセットＰＤを取得する（ＳＴＥＰ１１）。 The processor 32 acquires the position data set PD indicating the position of the hand 51 of the driver 5 in the three-dimensional space based on the image data set ID output from the TOF camera 2 (STEP 11).

画像データセットＩＤの各画素データに含まれる位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）は、画像中心座標が（ｃX，ｃY）と定義された場合、次式を用いてカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）に変換されうる。ｆは、ＴＯＦカメラが備えるレンズの焦点距離を表している。 For the position coordinates (U, V) and the distance information d(U, V) included in each pixel data of the image data set ID, the following formula is used when the image center coordinates are defined as (c X , c Y ). Can be converted into a point (X, Y, Z) on the three-dimensional space in the camera coordinate system. f represents the focal length of the lens included in the TOF camera.

Figure 2020119434
Figure 2020119434

プロセッサ３２は、上式に基づいて、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換を行なう。なお、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換は、ＴＯＦカメラ２に内蔵されたプロセッサによって行なわれてもよい。この場合、ＴＯＦカメラ２から出力される画像データセットＩＤに含まれる複数の画素データセットの各々は、位置座標（Ｘ，Ｙ，Ｚ）を含む。 The processor 32 converts the position coordinates (U, V) and the distance information d(U, V) into points (X, Y, Z) on the three-dimensional space in the camera coordinate system based on the above equation. The processor incorporated in the TOF camera 2 converts the position coordinates (U, V) and the distance information d(U, V) into points (X, Y, Z) in the three-dimensional space in the camera coordinate system. May be done. In this case, each of the plurality of pixel data sets included in the image data set ID output from the TOF camera 2 includes position coordinates (X, Y, Z).

カメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）は、車両４における特定の位置を原点とする車両座標系における位置座標（Ｌ，Ｗ，Ｈ）に変換されうる。例えば、運転席における特定の位置を原点とした場合、Ｗ軸の座標値は、運転者５から見て原点よりも右方において正の値をとり、原点よりも左方において負の値をとる。例えば、Ｌ軸の座標値は、原点よりも前方において正の値をとり、原点よりも後方において負の値をとる。例えば、Ｈ軸の座標値は、原点よりも上方において正の値をとり、原点よりも下方において負の値をとる。 The position coordinate (X, Y, Z) in the camera coordinate system can be converted into the position coordinate (L, W, H) in the vehicle coordinate system having a specific position in the vehicle 4 as an origin. For example, when a specific position in the driver's seat is set as the origin, the coordinate value of the W axis takes a positive value to the right of the origin as viewed from the driver 5 and a negative value to the left of the origin. .. For example, the coordinate value of the L axis has a positive value in front of the origin and a negative value in the rear of the origin. For example, the coordinate value of the H-axis has a positive value above the origin and a negative value below the origin.

続いてプロセッサ３２は、画像データセットＩＤにおいて運転者５の手５１が含まれる可能性がある領域を特定する。当該領域の特定は、人の手の形状的特徴を検出することにより行なわれる。形状的特徴は、複数の画素データセットに基づく適宜の画像認識技術を用いて検出されてもよいし、位置データセットＰＤに含まれる複数の点要素の各々が有している三次元空間における位置情報に基づいて検出されてもよい。 Subsequently, the processor 32 identifies a region in the image data set ID in which the hand 51 of the driver 5 may be included. The region is specified by detecting the shape feature of the human hand. The geometric feature may be detected using an appropriate image recognition technique based on a plurality of pixel data sets, or the position in the three-dimensional space that each of the plurality of point elements included in the position data set PD has. It may be detected based on the information.

手５１の三次元空間における位置は、例えば、手５１として検出された複数の画素あるいは複数の点要素の重心位置として特定されうる。あるいは、指先、手首、掌などの特徴点に対応する位置として特定されうる。 The position of the hand 51 in the three-dimensional space can be specified, for example, as the barycentric position of a plurality of pixels or a plurality of point elements detected as the hand 51. Alternatively, it may be specified as a position corresponding to a feature point such as a fingertip, a wrist, or a palm.

続いてプロセッサ３２は、手５１の移動速度の経時変化を取得する（ＳＴＥＰ１２）。手５１の移動速度は、上記のようにして特定された手５１の位置の経時変化をモニタすることによって取得されうる。 Subsequently, the processor 32 acquires a temporal change in the moving speed of the hand 51 (STEP 12). The moving speed of the hand 51 can be acquired by monitoring the change over time in the position of the hand 51 specified as described above.

続いてプロセッサ３２は、手５１の移動速度の分布幅が閾値未満であるかを判断する（ＳＴＥＰ１３）。移動速度の分布幅は、ＳＴＥＰ１２において取得された移動速度のピークトゥピーク値、分散値、標準偏差などを演算することにより取得されうる。 Subsequently, the processor 32 determines whether the distribution width of the moving speed of the hand 51 is less than the threshold value (STEP 13). The distribution width of the moving speed can be acquired by calculating the peak-to-peak value, the dispersion value, the standard deviation of the moving speed acquired in STEP 12.

前述したように、回転動作中における手５１の移動速度の分布幅は比較的小さい。したがって、手５１の移動速度の分布幅が所定値未満であると判断されると（ＳＴＥＰ１３においてＹＥＳ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ１４）。 As described above, the distribution width of the moving speed of the hand 51 during the rotating operation is relatively small. Therefore, when it is determined that the distribution width of the moving speed of the hand 51 is less than the predetermined value (YES in STEP 13), the processor 32 determines the rotation operation by the hand 51 (STEP 14).

他方、払い動作中における手５１の移動速度の分布幅は比較的大きい。したがって、手５１の移動速度の分布幅が所定値以上であると判断されると（ＳＴＥＰ１３においてＮＯ）、プロセッサ３２は、手５１による払い動作を判別する（ＳＴＥＰ１５）。 On the other hand, the distribution width of the moving speed of the hand 51 during the paying operation is relatively large. Therefore, when it is determined that the distribution width of the moving speed of the hand 51 is equal to or larger than the predetermined value (NO in STEP 13), the processor 32 determines the paying operation by the hand 51 (STEP 15).

図１に示されるように、動作判別装置３は、出力インターフェース３３を備えている。出力インターフェース３３は、判別された動作を示すデータＧＤを出力しうる。出力されたデータＧＤは、例えば、当該データが示す手５１の動作に対応付けられた車載装置の機能を起動するために利用されうる。 As shown in FIG. 1, the operation determination device 3 includes an output interface 33. The output interface 33 can output the data GD indicating the determined operation. The output data GD can be used, for example, to activate the function of the vehicle-mounted device associated with the motion of the hand 51 indicated by the data.

払い動作終了後に元の位置へ手を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の手５１の移動速度の分布幅は、回転動作中の手５１の移動速度の分布幅と異なる。上記のような構成によれば、手５１の移動速度の分布幅に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ手を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室４１内の運転者５による回転動作と払い動作の判別精度を高めることができる。 The action of returning the hand to the original position after the end of the paying action is easily mistaken as a rotating action. However, the distribution width of the moving speed of the hand 51 during the returning operation is different from the distribution width of the moving speed of the hand 51 during the rotating operation. According to the above-described configuration, the rotation operation and the payout operation are discriminated based on the distribution width of the moving speed of the hand 51, so that the operation of returning the hand to the original position after the end of the payout operation is erroneously recognized as the rotation operation. It is possible to suppress the possibility that it will be done. Therefore, it is possible to improve the accuracy of discrimination between the rotating operation and the paying operation by the driver 5 in the vehicle interior 41.

図３の（Ａ）と（Ｂ）において、符号Ｇは、手５１の移動軌跡の重心位置を示している。符号Ｌ１は、重心位置Ｇから移動軌跡までの最短距離を示している。符号Ｌ２は、重心位置Ｇから移動軌跡までの最長距離を示している。 In FIGS. 3A and 3B, the symbol G indicates the position of the center of gravity of the movement trajectory of the hand 51. Reference symbol L1 indicates the shortest distance from the center of gravity position G to the movement locus. Reference symbol L2 indicates the longest distance from the center of gravity position G to the movement locus.

両図の比較から判るように、回転動作による移動軌跡と、払い動作および戻し動作による移動軌跡とでは、真円度が相違している。回転動作による移動軌跡の真円度は、比較的高い。払い動作および戻し動作による移動軌跡の真円度は、比較的低い。重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比は、この真円度に対応する値となりうる。動作判別装置３は、手５１の移動軌跡の真円度に基づく回転動作と払い動作の識別をさらに行ないうる。 As can be seen from the comparison of both figures, the circularity is different between the movement locus due to the rotation operation and the movement loci due to the paying operation and the returning operation. The circularity of the movement trajectory due to the rotation operation is relatively high. The roundness of the movement locus due to the paying operation and the returning operation is relatively low. The ratio of the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement locus can be a value corresponding to this roundness. The motion discriminating device 3 can further distinguish between a rotating motion and a paying motion based on the roundness of the movement trajectory of the hand 51.

具体的には、手５１の移動速度の分布幅が所定値以上であると判断された場合（ＳＴＥＰ１３においてＮＯ）、プロセッサ３２は、手５１の移動軌跡の重心位置Ｇを特定する（ＳＴＥＰ１６）。重心位置Ｇは、手５１の三次元空間における位置の経時変化をモニタすることにより特定されうる。 Specifically, when it is determined that the distribution width of the moving speed of the hand 51 is equal to or larger than the predetermined value (NO in STEP 13), the processor 32 specifies the barycentric position G of the moving trajectory of the hand 51 (STEP 16). The center-of-gravity position G can be specified by monitoring the change over time of the position of the hand 51 in the three-dimensional space.

続いてプロセッサ３２は、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２を特定し、両者の比（Ｌ１／Ｌ２）を算出する（ＳＴＥＰ１７）。さらにプロセッサ３２は、算出された比の値が閾値以上であるかを判断する（ＳＴＥＰ１８）。閾値は、０より大きく１より小さい値として適宜設定される。 Subsequently, the processor 32 specifies the shortest distance L1 and the longest distance L2 from the center-of-gravity position G to the movement locus, and calculates the ratio (L1/L2) between them (STEP 17). Further, the processor 32 determines whether the calculated ratio value is equal to or more than the threshold value (STEP 18). The threshold value is appropriately set as a value larger than 0 and smaller than 1.

前述したように、回転動作中における手５１の移動軌跡の真円度は比較的高いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比（Ｌ１／Ｌ２）の値は１に近づく。したがって、比の値が閾値以上であると判断されると（ＳＴＥＰ１８においてＹＥＳ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ１４）。先の払い動作の判別結果は、キャンセルされる。 As described above, since the circularity of the movement locus of the hand 51 during the rotating motion is relatively high, the value of the ratio (L1/L2) of the shortest distance L1 and the longest distance L2 from the center of gravity G to the movement locus is 1. Approach to. Therefore, when it is determined that the value of the ratio is equal to or greater than the threshold value (YES in STEP 18), the processor 32 determines the rotation operation by the hand 51 (STEP 14). The determination result of the previous payment operation is canceled.

他方、払い動作中における手５１の移動軌跡の真円度は比較的低いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比の値（Ｌ１／Ｌ２）は０に近づく。比の値が閾値未満であると判断されると（ＳＴＥＰ１８においてＮＯ）、プロセッサ３２は、先の払い動作の判別結果を確定する（ＳＴＥＰ１５）。 On the other hand, since the circularity of the movement trajectory of the hand 51 during the paying operation is relatively low, the ratio value (L1/L2) of the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement trajectory approaches 0. When it is determined that the ratio value is less than the threshold value (NO in STEP 18), the processor 32 determines the determination result of the previous payment operation (STEP 15).

上記のような構成によれば、手５１の移動速度の分布幅に基づいてなされた判別結果の検証を、手５１の移動軌跡の真円度に基づいて行なうことができる。したがって、手５１による回転動作と払い動作の判別精度を高めることができる。 According to the above-described configuration, it is possible to verify the determination result based on the distribution width of the moving speed of the hand 51, based on the roundness of the movement trajectory of the hand 51. Therefore, it is possible to improve the accuracy of discrimination between the rotation operation and the paying operation by the hand 51.

図５に示された例においては、手５１の移動速度の分布幅に基づいて払い動作が判別された場合（ＳＴＥＰ１３においてＮＯ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されている。しかしながら、手５１の移動速度の分布幅に基づいて回転動作が判別された場合（ＳＴＥＰ１３においてＹＥＳ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されてもよい。この場合、先の回転動作の判別結果が確定またはキャンセルの対象となる。 In the example shown in FIG. 5, when the paying action is determined based on the distribution width of the moving speed of the hand 51 (NO in STEP 13), the determination process based on the roundness of the movement trajectory of the hand 51 is started. Is configured to be. However, even if the rotation motion is determined based on the distribution width of the moving speed of the hand 51 (YES in STEP 13), the determination process based on the roundness of the movement trajectory of the hand 51 may be started. Good. In this case, the determination result of the previous rotation operation is the target of confirmation or cancellation.

動作判別装置３は、運転者５の手５１の移動速度の変化履歴に着目することによって回転動作と払い動作の判別を行なうこともできる。図４の（Ｂ）に示されるように、手５１により払い動作と戻り動作がなされると、手５１の移動速度は、ある程度の速度まで一旦低下した後で再度上昇している。他方、図４の（Ａ）に示されるように、手５１により回転動作がなされると、手５１の移動速度は、最高速度Ｖｍに到達してから動作終了時の減速が開始されるまで、ほぼ一定の値で推移する。プロセッサ３２は、手５１の移動速度の変化履歴がこのような減速と再加速を含んでいるかに基づいて、回転動作と払い動作の識別を行ないうる。図６は、プロセッサ３２により行なわれる処理の別例を示している。 The motion discriminating apparatus 3 can also discriminate between the rotating motion and the paying motion by paying attention to the change history of the moving speed of the hand 51 of the driver 5. As shown in FIG. 4B, when the hand 51 performs the paying operation and the returning operation, the moving speed of the hand 51 once decreases to a certain speed and then increases again. On the other hand, as shown in FIG. 4A, when the hand 51 is rotated, the moving speed of the hand 51 reaches the maximum speed Vm until the deceleration at the end of the operation is started. It changes at an almost constant value. The processor 32 can distinguish between the rotating motion and the paying motion based on whether the change history of the moving speed of the hand 51 includes such deceleration and reacceleration. FIG. 6 shows another example of the processing performed by the processor 32.

プロセッサ３２は、ＴＯＦカメラ２から出力された画像データセットＩＤに基づいて、運転者５の手５１の三次元空間における位置を示す位置データセットＰＤを取得する（ＳＴＥＰ２１）。この処理は、図５に示されるＳＴＥＰ１１と同じであるので、繰り返しとなる説明は省略する。 The processor 32 acquires the position data set PD indicating the position of the hand 51 of the driver 5 in the three-dimensional space, based on the image data set ID output from the TOF camera 2 (STEP 21). This processing is the same as STEP 11 shown in FIG. 5, and thus repeated description will be omitted.

続いてプロセッサ３２は、手５１の移動開始時点と移動終了時点を特定する（ＳＴＥＰ２２）。図４の（Ａ）に示される例においては、移動開始時点は時刻ｔ１であり、移動終了時点は時刻ｔ４である。図４の（Ｂ）に示される例においては、移動開始時点は時刻ｔ１であり、移動終了時点は時刻ｔ５である。 Subsequently, the processor 32 identifies the movement start point and the movement end point of the hand 51 (STEP 22). In the example shown in FIG. 4A, the movement start time is time t1 and the movement end time is time t4. In the example shown in FIG. 4B, the movement start time is time t1 and the movement end time is time t5.

手５１の移動開始時点は、例えば、手５１の速度が実質的にゼロである期間が所定の長さ以上続いた後に加速が開始された時点として特定されうる。手の移動終了時点は、例えば、手５１の減速後に速度が実質的にゼロである期間が所定の長さ以上続いた時点として特定されうる。 The movement start time of the hand 51 can be specified as, for example, the time when the acceleration is started after the period in which the speed of the hand 51 is substantially zero continues for a predetermined length or more. The end point of the movement of the hand can be specified, for example, as the point in time after the deceleration of the hand 51, the period in which the speed is substantially zero continues for a predetermined length or more.

続いてプロセッサ３２は、特定された手５１の移動開始時点から移動終了時点までの間に、手５１の移動速度が閾値速度Ｖｔ未満まで減速された後に再加速されたかを判断する（図５のＳＴＥＰ２３）。閾値速度Ｖｔは、図４の（Ｂ）に示されるように、払い動作の終了を判断しうる程度の速度値として設定される。換言すると、手５１の移動速度が最高速度Ｖｍに到達した後に閾値速度Ｖｔ未満までの減速と閾値速度Ｖｔを超える再加速がなされたかが判断される。 Subsequently, the processor 32 determines whether the movement speed of the hand 51 has been decelerated to less than the threshold speed Vt and then re-accelerated between the specified movement start time and the movement end time (see FIG. 5). (STEP23). As shown in FIG. 4B, the threshold speed Vt is set as a speed value with which it is possible to determine the end of the paying operation. In other words, it is determined whether after the moving speed of the hand 51 reaches the maximum speed Vm, deceleration to less than the threshold speed Vt and re-acceleration exceeding the threshold speed Vt are performed.

図４の（Ａ）に示されるように、回転動作中における手５１の移動速度は、最高速度Ｖｍに到達した後の閾値速度Ｖｔ未満までの減速と再加速を伴わない。したがって、手５１の移動速度の経時変化履歴に閾値速度Ｖｔ未満までの減速と再加速が含まれていないと判断されると（図５のＳＴＥＰ２３においてＮＯ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ２４）。 As shown in (A) of FIG. 4, the moving speed of the hand 51 during the rotating operation is not accompanied by deceleration and re-acceleration below the threshold speed Vt after reaching the maximum speed Vm. Therefore, when it is determined that the history of changes in the moving speed of the hand 51 does not include deceleration and reacceleration below the threshold speed Vt (NO in STEP 23 of FIG. 5 ), the processor 32 causes the rotating motion of the hand 51. Is determined (STEP 24).

他方、手５１の移動速度の経時変化履歴に閾値速度Ｖｔ未満までの減速と再加速が含まれていると判断されると（ＳＴＥＰ２３においてＹＥＳ）、プロセッサ３２は、手５１による払い動作を判別する（ＳＴＥＰ２５）。 On the other hand, if it is determined that the history of changes in the moving speed of the hand 51 includes deceleration and reacceleration below the threshold speed Vt (YES in STEP 23), the processor 32 determines the paying operation by the hand 51. (STEP25).

払い動作終了後に元の位置へ手を戻す動作は回転動作と誤認されやすい。しかしながら、戻し動作時の手５１の移動速度の経時変化履歴は、閾値速度Ｖｔ未満までの減速後の再加速の有無において、回転動作中の手５１の移動速度の経時変化履歴と異なる。上記のような構成によれば、手５１の移動速度の経時変化履歴に基づいて回転動作と払い動作の判別が行なわれるので、特に払い動作終了後に元の位置へ手を戻す動作が回転動作と誤認される可能性を抑制できる。したがって、車室４１内の運転者５による回転動作と払い動作の判別精度を高めることができる。 The action of returning the hand to the original position after the end of the paying action is easily mistaken as a rotating action. However, the change history of the moving speed of the hand 51 during the returning operation is different from the change history of the moving speed of the hand 51 during the rotating operation, with or without re-acceleration after deceleration to less than the threshold speed Vt. According to the above-described configuration, the rotation operation and the payout operation are discriminated based on the history of changes in the moving speed of the hand 51. Therefore, the operation of returning the hand to the original position after the end of the payout operation is the rotation operation. The possibility of being mistakenly recognized can be suppressed. Therefore, it is possible to improve the accuracy of discrimination between the rotating operation and the paying operation by the driver 5 in the vehicle interior 41.

図５に示される処理例と同様に、動作判別装置３は、手５１の移動軌跡の真円度に基づく回転動作と払い動作の識別をさらに行ないうる。 Similar to the processing example shown in FIG. 5, the motion determining apparatus 3 can further identify the rotating motion and the paying motion based on the roundness of the movement trajectory of the hand 51.

具体的には、手５１の移動速度の経時変化履歴に閾値速度Ｖｔ未満までの減速と再加速が含まれていると判断された場合（ＳＴＥＰ２３においてＹＥＳ）、プロセッサ３２は、手５１の移動軌跡の重心位置Ｇを特定する（ＳＴＥＰ２６）。重心位置Ｇは、手５１の三次元空間における位置の経時変化をモニタすることにより特定されうる。 Specifically, when it is determined that the history of change in the moving speed of the hand 51 includes deceleration and re-acceleration below the threshold speed Vt (YES in STEP 23), the processor 32 causes the movement trajectory of the hand 51. The center of gravity position G of is specified (STEP 26). The center-of-gravity position G can be specified by monitoring the change over time of the position of the hand 51 in the three-dimensional space.

続いてプロセッサ３２は、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２を特定し、両者の比（Ｌ１／Ｌ２）を算出する（ＳＴＥＰ２７）。さらにプロセッサ３２は、算出された比の値が閾値以上であるかを判断する（ＳＴＥＰ２８）。閾値は、０より大きく１より小さい値として適宜設定される。 Subsequently, the processor 32 specifies the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement locus, and calculates the ratio (L1/L2) between them (STEP 27). Further, the processor 32 determines whether the calculated ratio value is equal to or more than the threshold value (STEP 28). The threshold value is appropriately set as a value larger than 0 and smaller than 1.

前述したように、回転動作中における手５１の移動軌跡の真円度は比較的高いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比（Ｌ１／Ｌ２）の値は１に近づく。したがって、比の値が閾値以上であると判断されると（ＳＴＥＰ２８においてＹＥＳ）、プロセッサ３２は、手５１による回転動作を判別する（ＳＴＥＰ２４）。先の払い動作の判別結果は、キャンセルされる。 As described above, since the circularity of the movement locus of the hand 51 during the rotating motion is relatively high, the value of the ratio (L1/L2) of the shortest distance L1 and the longest distance L2 from the center of gravity G to the movement locus is 1. Approach to. Therefore, when it is determined that the value of the ratio is equal to or greater than the threshold value (YES in STEP 28), the processor 32 determines the rotation operation by the hand 51 (STEP 24). The determination result of the previous payment operation is canceled.

他方、払い動作中における手５１の移動軌跡の真円度は比較的低いので、重心位置Ｇから移動軌跡までの最短距離Ｌ１と最長距離Ｌ２の比の値（Ｌ１／Ｌ２）は０に近づく。比の値が閾値未満であると判断されると（ＳＴＥＰ２８においてＮＯ）、プロセッサ３２は、先の払い動作の判別結果を確定する（ＳＴＥＰ２５）。 On the other hand, since the circularity of the movement trajectory of the hand 51 during the paying operation is relatively low, the ratio value (L1/L2) of the shortest distance L1 and the longest distance L2 from the center of gravity position G to the movement trajectory approaches 0. When it is determined that the value of the ratio is less than the threshold value (NO in STEP 28), the processor 32 determines the determination result of the previous payment operation (STEP 25).

上記のような構成によれば、手５１の移動速度の経時変化履歴に基づいてなされた判別結果の検証を、手５１の移動軌跡の真円度に基づいて行なうことができる。したがって、手５１による回転動作と払い動作の判別精度を高めることができる。 According to the above-described configuration, the determination result made based on the history of changes in the moving speed of the hand 51 can be verified based on the roundness of the movement trajectory of the hand 51. Therefore, it is possible to improve the accuracy of discrimination between the rotation operation and the paying operation by the hand 51.

図６に示された例においては、手５１の移動速度の経時変化履歴に基づいて払い動作が判別された場合（ＳＴＥＰ２３においてＮＯ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されている。しかしながら、手５１の移動速度の経時変化履歴に基づいて回転動作が判別された場合（ＳＴＥＰ２３においてＹＥＳ）に、手５１の移動軌跡の真円度に基づく判別処理が開始されるように構成されてもよい。この場合、先の回転動作の判別結果が確定またはキャンセルの対象となる。 In the example shown in FIG. 6, when the paying operation is determined based on the history of changes in the moving speed of the hand 51 (NO in STEP 23), the determination processing based on the roundness of the movement trajectory of the hand 51 is performed. It is configured to start. However, when the rotational movement is determined based on the change history of the moving speed of the hand 51 (YES in STEP 23), the determination process based on the roundness of the movement trajectory of the hand 51 is started. Good. In this case, the determination result of the previous rotation operation is the target of confirmation or cancellation.

上述したプロセッサ３２の機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ３２は、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。プロセッサ３２は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されてもよい。プロセッサ３２は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。 The functions of the processor 32 described above can be realized by a general-purpose microprocessor that operates in cooperation with a general-purpose memory. Examples of the general-purpose microprocessor include CPU, MPU, and GPU. As the general-purpose memory, ROM and RAM can be exemplified. In this case, the ROM may store a computer program that executes the above-described processing. The ROM is an example of a storage medium that stores a computer program. The processor 32 specifies at least a part of the program stored in the ROM, expands it on the RAM, and cooperates with the RAM to execute the above-described processing. The processor 32 may be realized by a dedicated integrated circuit such as a microcontroller, ASIC, or FPGA that can execute a computer program that realizes the above-described processing. The processor 32 may be realized by a combination of a general-purpose microprocessor and a dedicated integrated circuit.

図１に示されるように、動作判別装置３は、ネットワーク６を介して外部サーバ７と通信可能に構成されうる。この場合、上述した処理を実行するコンピュータプログラムは、外部サーバ７からネットワーク６を介してダウンロードされうる。外部サーバ７は、コンピュータプログラムを記憶している記憶媒体の一例である。 As shown in FIG. 1, the operation determination device 3 may be configured to be communicable with the external server 7 via the network 6. In this case, the computer program that executes the above-described processing can be downloaded from the external server 7 via the network 6. The external server 7 is an example of a storage medium that stores a computer program.

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。 The above embodiments are merely examples for facilitating the understanding of the present invention. The configurations according to the above-described embodiments can be appropriately modified and improved without departing from the spirit of the present invention.

上記の実施形態において、動作判別装置３は、運転者５の手５１による回転動作と払い動作を判別かつ識別可能に構成されている。しかしながら、動作判別装置３は、手５１による回転動作のみを判別する装置としても構成されうる。あるいは、動作判別装置３は、手５１による払い動作のみを判別する装置としても構成されうる。 In the above-described embodiment, the motion discriminating device 3 is configured to discriminate and distinguish between the rotating motion and the paying motion by the hand 51 of the driver 5. However, the motion determination device 3 can also be configured as a device that determines only the rotational motion by the hand 51. Alternatively, the motion determination device 3 may be configured as a device that determines only the paying motion by the hand 51.

上記の実施形態において、動作判別装置３の入力インターフェース３１は、位置データセットＰＤを、画像データセットＩＤの一部としてＴＯＦカメラ２から受け付けている。このような構成によれば、運転者５の手５１が含まれている可能性が高い領域を特定するために使用される画像データセットＩＤと位置データセットＰＤを、効率的に取得できる。しかしながら、画像データセットＩＤを出力する撮像装置と、位置データセットＰＤを出力する装置は、異なっていてもよい。そのような装置としては、ＬｉＤＡＲ（Light Detection and Ranging）センサなどが例示されうる。 In the above embodiment, the input interface 31 of the operation determination device 3 receives the position data set PD from the TOF camera 2 as a part of the image data set ID. With such a configuration, it is possible to efficiently acquire the image data set ID and the position data set PD used to specify the region in which the hand 51 of the driver 5 is likely to be included. However, the imaging device that outputs the image data set ID and the device that outputs the position data set PD may be different. An example of such a device is a LiDAR (Light Detection and Ranging) sensor.

上記の実施形態においては、車室４１内における運転者５の手５１が判別に供されている。しかしながら、回転動作と払い動作を行ないうるのであれば、他の身体部位が判別に供されてもよい。そのような身体部位としては、鼻先、顎、額、肘、膝などが例示されうる。また、画像データセットＩＤと位置データセットＰＤを出力する装置を適宜に配置することにより、他の乗員の身体部位が判別に供されてもよい。 In the above-described embodiment, the hand 51 of the driver 5 in the vehicle interior 41 is used for discrimination. However, other body parts may be used for the determination as long as the rotation operation and the payout operation can be performed. Examples of such body parts may include the tip of the nose, the jaw, the forehead, the elbow, the knee, and the like. Further, by appropriately disposing a device that outputs the image data set ID and the position data set PD, the body part of another occupant may be used for the discrimination.

２：ＴＯＦカメラ、３：動作判別装置、３１：入力インターフェース、３２：プロセッサ、４１：車室、５：運転者、５１：手、７：外部サーバ、ＰＤ：位置データセット、Ｇ：移動軌跡の重心位置、Ｌ１：重心位置から移動軌跡までの最短距離、Ｌ２：重心位置から移動軌跡までの最長距離、Ｖｔ：閾値速度 2: TOF camera, 3: motion determination device, 31: input interface, 32: processor, 41: vehicle interior, 5: driver, 51: hand, 7: external server, PD: position data set, G: movement locus Center of gravity position, L1: Shortest distance from the center of gravity position to the movement track, L2: Longest distance from the center of gravity position to the movement track, Vt: Threshold speed

Claims (17)

車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値未満である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する、
動作判別装置。 An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Obtaining the change over time of the moving speed of the body part,
If the distribution width of the moving speed in the change over time is less than a threshold value, it is determined that the occupant has performed a rotating motion at the body part.
Motion discriminating device. 前記プロセッサは、前記分布幅が前記閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
請求項１に記載の動作判別装置。 The processor determines that the occupant has performed a paying operation at the body part when the distribution width is equal to or greater than the threshold value,
The operation determination device according to claim 1. 前記プロセッサは、前記分布幅が前記閾値以上である場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値以上である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する、
請求項１に記載の動作判別装置。 The processor, when the distribution width is greater than or equal to the threshold,
The center of gravity position of the movement trajectory of the body part is specified,
Calculate the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory,
When the ratio is equal to or greater than a threshold value, it is determined that the occupant has performed a rotation motion on the body part,
The operation determination device according to claim 1. 車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動速度の経時変化を取得し、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
動作判別装置。 An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Obtaining the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the change over time is equal to or more than a threshold value, it is determined that the occupant has performed a paying operation at the body part.
Motion discriminating device. 前記プロセッサは、前記移動速度の分布幅が前記閾値未満である場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値未満である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
請求項４に記載の動作判別装置。 The processor, when the distribution width of the moving speed is less than the threshold value,
The center of gravity position of the movement trajectory of the body part is specified,
Calculate the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory,
When the ratio is less than a threshold value, it is determined that the occupant has performed a paying operation at the body part,
The operation determination device according to claim 4. 車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別する、
動作判別装置。 An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Specifying the movement start time and movement end time of the body part,
From the movement start time to the movement end time, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
When the re-acceleration is not determined, it is determined that the occupant has performed a rotation operation on the body part,
Motion discriminating device. 前記プロセッサは、前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
請求項６に記載の動作判別装置。 The processor determines that the occupant has performed a paying motion at the body part when the reacceleration is determined,
The operation determination device according to claim 6. 前記プロセッサは、前記再加速が判定された場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値以上である場合に、前記乗員が前記身体部位で回転動作を行なったと判別する、
請求項６に記載の動作判別装置。 The processor, when the reacceleration is determined,
The center of gravity position of the movement trajectory of the body part is specified,
Calculate the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory,
When the ratio is equal to or greater than a threshold value, it is determined that the occupant has performed a rotation motion on the body part,
The operation determination device according to claim 6. 車室内の乗員の身体部位の位置を示すデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて前記身体部位による動作を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記身体部位の移動開始時点と移動終了時点を特定し、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定し、
前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
動作判別装置。 An input interface that receives a data set indicating the position of the body part of the occupant in the passenger compartment,
A processor that determines the motion of the body part based on the data set;
Is equipped with
The processor is
Specifying the movement start time and movement end time of the body part,
From the movement start time to the movement end time, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
When the re-acceleration is determined, it is determined that the occupant has performed a paying operation at the body part,
Motion discriminating device. 前記プロセッサは、前記再加速が判定された場合に、
前記身体部位の移動軌跡の重心位置を特定し、
前記重心位置から前記移動軌跡までの最短距離と最長距離の比を算出し、
前記比が閾値未満である場合に、前記乗員が前記身体部位で払い動作を行なったと判別する、
請求項９に記載の動作判別装置。 The processor, when the reacceleration is determined,
The center of gravity position of the movement trajectory of the body part is specified,
Calculate the ratio of the shortest distance and the longest distance from the center of gravity position to the movement trajectory,
When the ratio is less than a threshold value, it is determined that the occupant has performed a paying operation at the body part,
The operation determination device according to claim 9. 前記身体部位は手である、
請求項１から１０のいずれか一項に記載の動作判別装置。 The body part is the hand,
The operation determination device according to any one of claims 1 to 10. 前記データセットは、ＴＯＦカメラより取得される、
請求項１から１１のいずれか一項に記載の動作判別装置。 The data set is obtained from a TOF camera,
The operation determination device according to claim 1. 車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサに、
前記身体部位の移動速度の経時変化を取得させ、
前記経時変化における前記移動速度の分布幅が閾値未満である場合に、前記乗員が前記身体部位で回転動作を行なったと判別させる、
コンピュータプログラム。 A computer program for causing a processor to discriminate the motion of the body part based on a data set indicating the position of the body part of the occupant,
Execution of the computer program causes the processor to
To obtain the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the change over time is less than a threshold value, it is determined that the occupant has performed a rotation motion in the body part,
Computer program. 車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサに、
前記身体部位の移動速度の経時変化を取得させ、
前記経時変化における前記移動速度の分布幅が閾値以上である場合に、前記乗員が前記身体部位で払い動作を行なったと判別させる、
コンピュータプログラム。 A computer program for causing a processor to discriminate the motion of the body part based on a data set indicating the position of the body part of the occupant,
Execution of the computer program causes the processor to
To obtain the change over time of the moving speed of the body part,
When the distribution width of the moving speed in the change over time is equal to or more than a threshold value, it is determined that the occupant has performed a paying operation at the body part.
Computer program. 車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサに、
前記身体部位の移動開始時点と移動終了時点を特定させ、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定させ、
前記再加速が判定されなかった場合に、前記乗員が前記身体部位で回転動作を行なったと判別させる、
コンピュータプログラム。 A computer program for causing a processor to discriminate the motion of the body part based on a data set indicating the position of the body part of the occupant,
Execution of the computer program causes the processor to
Specify the start time and end time of movement of the body part,
From the movement start time point to the movement end time point, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
When the re-acceleration is not determined, it is determined that the occupant has performed a rotational motion on the body part,
Computer program. 車室内の乗員の身体部位の位置を示すデータセットに基づいて、当該身体部位による動作をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることによって、当該プロセッサに、
前記身体部位の移動開始時点と移動終了時点を特定させ、
前記移動開始時点から前記移動終了時点までの間に、前記身体部位の移動速度が閾値未満まで減速された後に再加速されたかを判定させ、
前記再加速が判定された場合に、前記乗員が前記身体部位で払い動作を行なったと判別させる、
コンピュータプログラム。 A computer program for causing a processor to discriminate the motion of the body part based on a data set indicating the position of the body part of the occupant,
Execution of the computer program causes the processor to
Specify the start time and end time of movement of the body part,
From the movement start time point to the movement end time point, it is determined whether the moving speed of the body part is decelerated to less than a threshold value and then re-accelerated,
When the re-acceleration is determined, it is determined that the occupant has performed a paying operation at the body part,
Computer program. 請求項１３から１６のいずれか一項に記載のコンピュータプログラムを記憶している記憶媒体。 A storage medium storing the computer program according to any one of claims 13 to 16.
JP2019012197A 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium Active JP7212531B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019012197A JP7212531B2 (en) 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019012197A JP7212531B2 (en) 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium

Publications (2)

Publication Number Publication Date
JP2020119434A true JP2020119434A (en) 2020-08-06
JP7212531B2 JP7212531B2 (en) 2023-01-25

Family

ID=71890957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019012197A Active JP7212531B2 (en) 2019-01-28 2019-01-28 Motion discrimination device, computer program, and storage medium

Country Status (1)

Country Link
JP (1) JP7212531B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385012A (en) * 2022-01-17 2022-04-22 维沃移动通信有限公司 Motion recognition method and device, electronic equipment and readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211781A (en) * 2009-02-12 2010-09-24 Sony Corp Operation recognizer, operation recognition method, and program
JP2011134212A (en) * 2009-12-25 2011-07-07 Canon Inc Input device, control method of input device, program, and storage medium
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP2014134919A (en) * 2013-01-09 2014-07-24 Ntt Docomo Inc Display unit and display method
JP2015219885A (en) * 2014-05-21 2015-12-07 株式会社デンソー Gesture input device
JP2017194767A (en) * 2016-04-19 2017-10-26 株式会社東海理化電機製作所 Gesture discrimination device
JP2017224161A (en) * 2016-06-15 2017-12-21 株式会社東海理化電機製作所 Gesture determination device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211781A (en) * 2009-02-12 2010-09-24 Sony Corp Operation recognizer, operation recognition method, and program
JP2011134212A (en) * 2009-12-25 2011-07-07 Canon Inc Input device, control method of input device, program, and storage medium
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
JP2014134919A (en) * 2013-01-09 2014-07-24 Ntt Docomo Inc Display unit and display method
JP2015219885A (en) * 2014-05-21 2015-12-07 株式会社デンソー Gesture input device
JP2017194767A (en) * 2016-04-19 2017-10-26 株式会社東海理化電機製作所 Gesture discrimination device
JP2017224161A (en) * 2016-06-15 2017-12-21 株式会社東海理化電機製作所 Gesture determination device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385012A (en) * 2022-01-17 2022-04-22 维沃移动通信有限公司 Motion recognition method and device, electronic equipment and readable storage medium
CN114385012B (en) * 2022-01-17 2023-06-30 维沃移动通信有限公司 Motion recognition method, motion recognition device, electronic equipment and readable storage medium

Also Published As

Publication number Publication date
JP7212531B2 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
JP5145986B2 (en) Object detection apparatus and distance measuring method
JP6350145B2 (en) Face orientation detection device and vehicle warning system
CA3010997C (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JP2002059796A (en) Method and apparatus for classification by detecting road user and obstacle based on camera image and detecting distance to observer
JP6722051B2 (en) Object detection device and object detection method
CN109643372A (en) A kind of recognition methods, equipment and moveable platform
JP2010113506A (en) Occupant position detection device, occupant position detection method, and occupant position detection program
JP6782433B2 (en) Image recognition device
JP2009237897A (en) Image recognition device
JP2021026557A (en) Obstacle detection device
JP7212531B2 (en) Motion discrimination device, computer program, and storage medium
JP6657024B2 (en) Gesture judgment device
JP7265873B2 (en) Motion discrimination device, computer program, and storage medium
JP5248388B2 (en) Obstacle risk calculation device, method and program
JP2017111508A (en) Information processing device, information processing system, and information processing method
JP2006027481A (en) Object warning device and its method
JP2007233440A (en) On-vehicle image processor
CN114467111B (en) Object recognition method and object recognition device
JP7240193B2 (en) Face orientation determination device, computer program, and storage medium
JP7053341B2 (en) Processing equipment and programs
JP7079188B2 (en) Crew discriminator, computer program, and storage medium
JP7079187B2 (en) Crew discriminator, computer program, and storage medium
JP2020117184A (en) Operation recognition device, computer program, and storage medium
JP7195963B2 (en) Head identification device, computer program, and storage medium
JP2017211765A (en) Object recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150