JP2023009149A

JP2023009149A - Gesture detection device, gesture detection method, and program

Info

Publication number: JP2023009149A
Application number: JP2022178421A
Authority: JP
Inventors: 諒竹林; Ryo Takebayashi
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-12-24
Filing date: 2022-11-07
Publication date: 2023-01-19
Anticipated expiration: 2039-12-24
Also published as: JP2021101324A; JP7412507B2; JP7175257B2

Abstract

PROBLEM TO BE SOLVED: To provide a gesture detection device, a gesture detection method, and a program which prevent others from feeling discomfort when a gesture is performed.

SOLUTION: A gesture detection device includes: a gesture recognition section capable of recognizing a gesture of a user; an information output section that outputs notification information indicating that the gesture is performed when the gesture recognition section is in a state of recognizing the gesture; and a person detection section which detects a person other than the user. The information output section outputs notification information when a person other than the user is detected.

SELECTED DRAWING: Figure 2

Description

本発明は、ジェスチャ検出装置、ジェスチャ検出方法、およびプログラムに関する。 The present invention relates to a gesture detection device, a gesture detection method, and a program.

車両内において、前方を注視しながらターンシグナル装置、ヘッドランプ装置、ワイパー装置等の車載機器を、手指のジェスチャを用いて操作することが提案されている（例えば特許文献１参照）。 In a vehicle, it has been proposed to operate in-vehicle devices such as a turn signal device, a headlamp device, and a wiper device using finger gestures while looking ahead (see, for example, Patent Document 1).

特開２０１６－５２８６１号公報JP 2016-52861 A

しかしながら、従来技術による指さしや手のジェスチャを用いた操作では、その指さしや手のジェスチャが国や地域によってはマナー違反であり、指をさされた人が不快に感じる場合がある。 However, in operations using finger pointing or hand gestures according to the conventional technology, the pointing or hand gestures are bad manners in some countries or regions, and the person to whom the finger is pointed may feel uncomfortable.

本発明は、このような事情を考慮してなされたものであり、ジェスチャを行う場合に、人に対して不快な感じを与えないようにするジェスチャ検出装置、ジェスチャ検出方法、およびプログラムを提供することを目的の一つとする。 SUMMARY OF THE INVENTION The present invention has been made in consideration of such circumstances, and provides a gesture detection device, a gesture detection method, and a program that do not make a person feel uncomfortable when making a gesture. One of the purposes is to

この発明に係るジェスチャ検出装置、ジェスチャ検出方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るジェスチャ検出装置は、利用者のジェスチャを認識可能なジェスチャ認識部と、前記ジェスチャ認識部が、前記ジェスチャの認識を行う状態にあるときに、前記ジェスチャが行われていることを示す報知情報を出力する情報出力部と、前記利用者以外の人を検出する人検出部と、を備え、前記情報出力部は、前記利用者以外の人が検出された際に、前記報知情報を出力する、ジェスチャ検出装置である。 A gesture detection device, a gesture detection method, and a program according to the present invention employ the following configuration.
(1): A gesture detection device according to an aspect of the present invention includes a gesture recognition unit capable of recognizing a user's gesture; An information output unit for outputting notification information indicating that a person other than the user is detected; It is a gesture detection device that outputs the notification information when a gesture is detected.

（２）：上記（１）の態様において、前記情報出力部は、前記ジェスチャが指し示す方向に前記人が検出された際、前記報知情報を前記方向に出力するものである。 (2): In the aspect of (1) above, the information output unit outputs the notification information in the direction when the person is detected in the direction indicated by the gesture.

（３）：この発明の一態様に係るジェスチャ検出装置は、利用者のジェスチャを認識可能なジェスチャ認識部と、前記ジェスチャ認識部が、前記ジェスチャの認識を行う状態にあるときに、前記ジェスチャが行われていることを示す報知情報を出力する情報出力部と、を備え、前記ジェスチャ認識部は、前記ジェスチャが指し示す方向を推定し、前記情報出力部は、前記報知情報を前記方向に出力する、ジェスチャ検出装置である。 (3): A gesture detection device according to an aspect of the present invention includes a gesture recognition unit capable of recognizing a user's gesture; and an information output unit that outputs notification information indicating that the gesture is being performed, wherein the gesture recognition unit estimates a direction indicated by the gesture, and the information output unit outputs the notification information in the direction. , is a gesture detection device.

（４）：上記（１）から（３）のうちのいずれか１つの態様において、前記情報出力部は、前記ジェスチャ認識部が前記ジェスチャの認識を行わない状態から前記ジェスチャの認識を行う状態に遷移したことに基づいて、前記報知情報を出力するものである。 (4): In any one aspect of the above (1) to (3), the information output unit changes the gesture recognition unit from a state in which the gesture recognition unit does not recognize the gesture to a state in which the gesture is recognized. Based on the transition, the notification information is output.

（５）：上記（１）から（４）のうちのいずれか１つの態様において、前記情報出力部は、前記ジェスチャ認識部が、前記利用者の所定のジェスチャを認識したことに基づいて、前記報知情報を出力するものである。 (5): In any one aspect of the above (1) to (4), the information output unit, based on the gesture recognition unit recognizing a predetermined gesture of the user, It outputs notification information.

（６）：上記（５）の態様において、前記所定のジェスチャは、前記情報出力部に情報を出力させる指示以外のジェスチャであるものである。 (6): In the aspect of (5) above, the predetermined gesture is a gesture other than an instruction to output information to the information output unit.

（７）：上記（５）または（６）の態様において、前記情報出力部は、前記所定のジェスチャが行われる前に、前記報知情報を出力するものである。 (7): In the aspect (5) or (6) above, the information output unit outputs the notification information before the predetermined gesture is performed.

（８）：この発明の一態様に係るジェスチャ検出方法は、利用者のジェスチャを認識し、前記ジェスチャの認識を行う状態にあるときに、前記ジェスチャが行われていることを示す報知情報を出力し、前記利用者以外の人を検出し、前記利用者以外の人が検出された際に、前記報知情報を出力する、ジェスチャ検出方法である。 (8): A gesture detection method according to an aspect of the present invention recognizes a user's gesture, and outputs notification information indicating that the gesture is being performed when the gesture is being recognized. and detecting a person other than the user, and outputting the notification information when the person other than the user is detected.

（９）：この発明の一態様に係るジェスチャ検出方法は、利用者のジェスチャを認識し、前記ジェスチャの認識を行う状態にあるときに、前記ジェスチャが行われていることを示す報知情報を出力し、前記ジェスチャが指し示す方向を推定し、前記報知情報を前記方向に出力する、ジェスチャ検出方法である。 (9): A gesture detection method according to an aspect of the present invention recognizes a user's gesture, and outputs notification information indicating that the gesture is being performed when the gesture is being recognized. and estimating the direction indicated by the gesture, and outputting the notification information in the direction.

（１０）：この発明の一態様に係るプログラムは、ジェスチャ検出装置のコンピュータに、利用者のジェスチャを認識させ、前記ジェスチャの認識を行う状態にあるときに、前記ジェスチャが行われていることを示す報知情報を出力させ、前記利用者以外の人を検出させ、前記利用者以外の人が検出された際に、前記報知情報を出力させる、プログラムである。 (10): A program according to an aspect of the present invention causes a computer of a gesture detection device to recognize a user's gesture, and detects that the gesture is being performed when the gesture is to be recognized. A program for outputting notification information indicating a user, detecting a person other than the user, and outputting the notification information when the person other than the user is detected.

（１１）：この発明の一態様に係るプログラムは、ジェスチャ検出装置のコンピュータに、利用者のジェスチャを認識させ、前記ジェスチャの認識を行う状態にあるときに、前記ジェスチャが行われていることを示す報知情報を出力させ、前記ジェスチャが指し示す方向を推定させ、前記報知情報を前記方向に出力させる、プログラムである。 (11): A program according to an aspect of the present invention causes a computer of a gesture detection device to recognize a user's gesture, and detects that the gesture is being performed when the gesture is to be recognized. A program for outputting notification information indicating a gesture, estimating a direction indicated by the gesture, and outputting the notification information in the direction.

（１）～（１１）によれば、ジェスチャを行った場合に、ジェスチャが行われていることを筐体外に出力するようにしたので、人に対して不快な感じを与えないようにすることができる。
一態様によれば、少なくとも１つのジェスチャについてＮＧが付されている国や地域（文化圏）において、そのジェスチャが行われる際、筐体外にいる人に対して不快な感じを与えないようにすることができる。
一態様によれば、操作部に対する操作されたことやジェスチャ認識機能を起動させるウェイクアップワードが発話されたことなどにより遷移させることができる。
一態様によれば、利用者の所定のジェスチャに基づいて報知するようにしたので、所定のジェスチャが行われる際、筐体外にいる人に対して不快な感じを与えないようにすることができる。
一態様によれば、他のジェスチャによって報知されることを防止することができる。
一態様によれば、筐体外にいる人に対して不快な感じを与えないようにすることができる。
一態様によれば、ジェスチャが行われる前に報知するようにしたので、筐体外にいる人に対して、より不快な感じを与えないようにすることができる。
一態様によれば、筐体内でジェスチャを行いかつ筐体外に人が検出された場合に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
一態様によれば、筐体内でジェスチャを行いかつ筐体外のジェスチャが指し示す方向に人が検出された場合に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
一態様によれば、筐体内でジェスチャを行いかつ筐体外のジェスチャが指し示す方向に人が検出された場合に、ジェスチャが行われていることをジェスチャが指し示す方向の筐体外に出力するようにしたので、ジェスチャが指し示す方向の筐体外にいる人に対して不快な感じを与えないようにすることができる。
一態様によれば、国や地域によってタブーとされているジェスチャに応じて報知情報の出力を制御することができる。
一態様によれば、筐体内に報知情報を出力していることを報知するようにしたので、人に遠慮せずにジェスチャを行うことができる。
一態様によれば、筐体が移動している場合、筐体の移動速度に応じて報知情報を報知するか報知しないか切り替えることができる。
一態様によれば、報知情報を画像表示装置に表示させて報知するため、筐体外の人にジェスチャが筐体内で行われていることを報知することができる。 According to (1) to (11), when a gesture is made, the fact that the gesture is being made is output outside the housing, so that the person does not feel uncomfortable. can be done.
According to one aspect, in a country or region (cultural area) in which at least one gesture is NG, when the gesture is performed, it is made not to give an uncomfortable feeling to people outside the housing. be able to.
According to one aspect, the transition can be made by operating the operation unit, uttering a wake-up word for activating the gesture recognition function, or the like.
According to one aspect, the notification is made based on the predetermined gesture of the user, so that when the predetermined gesture is performed, the person outside the housing can be prevented from feeling uncomfortable. .
According to one aspect, it is possible to prevent notification by other gestures.
According to one aspect, it is possible to prevent a person outside the housing from feeling uncomfortable.
According to one aspect, since the notification is made before the gesture is performed, it is possible to prevent the person outside the housing from feeling more uncomfortable.
According to one aspect, when a gesture is made inside the housing and a person is detected outside the housing, the fact that the gesture is being made is output outside the housing. It can be made not to give an unpleasant feeling.
According to one aspect, when the gesture is performed inside the housing and a person is detected in the direction indicated by the gesture outside the housing, the fact that the gesture is being performed is output outside the housing. You can avoid making people feel uncomfortable.
According to one aspect, when a gesture is made inside the housing and a person is detected in the direction indicated by the gesture outside the housing, the fact that the gesture is being performed is output outside the housing in the direction indicated by the gesture. Therefore, it is possible to prevent a person outside the housing in the direction indicated by the gesture from feeling uncomfortable.
According to one aspect, output of notification information can be controlled according to gestures that are taboo in some countries or regions.
According to one aspect, it is notified that the notification information is being output in the housing, so that the user can make a gesture without being shy about people.
According to one aspect, when the housing is moving, it is possible to switch whether or not to report the notification information according to the moving speed of the housing.
According to one aspect, since the notification information is displayed on the image display device and notified, it is possible to notify a person outside the housing that the gesture is being performed within the housing.

実施形態に係るジェスチャシステムの概要を示す図である。It is a figure which shows the outline|summary of the gesture system which concerns on embodiment. 実施形態に係るジェスチャ検出装置の構成例を示すブロック図である。1 is a block diagram showing a configuration example of a gesture detection device according to an embodiment; FIG. 実施形態に係るジェスチャモデル記憶部が記憶するモデルの例を示す図である。FIG. 5 is a diagram showing an example of a model stored in a gesture model storage unit according to the embodiment; 実施形態に係る報知部に報知される報知情報の例を示す図である。It is a figure which shows the example of the alerting|reporting information alert|reported to the alerting|reporting part which concerns on embodiment. 実施形態に係る報知部が表示装置の例を示す図である。FIG. 4 is a diagram showing an example of a display device as a notification unit according to the embodiment; 実施形態に係るジェスチャと報知情報の表示可否と表示位置の関係例を示す図である。It is a figure which shows the relationship example of the display propriety of a gesture, alerting|reporting information, and a display position which concerns on embodiment. 実施形態に係るジェスチャ検出装置の処理のフローチャートである。6 is a flowchart of processing of the gesture detection device according to the embodiment;

以下、図面を参照し、本発明のジェスチャ検出装置、ジェスチャ検出方法、およびプログラムの実施形態について説明する。 Embodiments of a gesture detection device, a gesture detection method, and a program according to the present invention will be described below with reference to the drawings.

［ジェスチャシステム１の概要］
まず、ジェスチャシステム１の概要を説明する。なお、以下の例では、ジェスチャ検出装置を車両で用いる例を説明するが、これに限らない、ジェスチャ検出装置が用いられる筐体は、車両に限らない。筐体は、例えば窓の外を人が通る部屋等であってもよい。 [Outline of gesture system 1]
First, an outline of the gesture system 1 will be described. In the following example, an example in which the gesture detection device is used in a vehicle will be described, but the housing in which the gesture detection device is used is not limited to the vehicle. The enclosure may be, for example, a room in which people pass outside the window.

図１は、本実施形態に係るジェスチャシステム１の概要を示す図である。図１に示すように、筐体１２に、ジェスチャ検出装置１１と報知部１３が取り付けられている。符号ｈｕｉは乗員であり、符号ｈｕｏは車外の人である。図１に示すように、車両内の乗員ｈｕｉが、指さし確認やジェスチャによる車両内の機器の操作を行った場合、人ｈｕｏは自分が指さされたように見え不快に感じる場合もある。また、国や地域、宗教等によっては、タブーとされているジェスチャ等もあり、そのようなジェスチャを行った場合は、人ｈｕｏとのトラブルになる場合もあり得る。このため、本実施形態では、車両内でジェスチャが行われた際、このようなトラブルを防ぐために、ジェスチャ検出装置１１が車両内でジェスチャが行われていることを人ｈｕｏに報知する。 FIG. 1 is a diagram showing an outline of a gesture system 1 according to this embodiment. As shown in FIG. 1, a gesture detection device 11 and a notification unit 13 are attached to a housing 12 . Symbol hui is an occupant and symbol huo is a person outside the vehicle. As shown in FIG. 1, when an occupant hui in the vehicle operates equipment in the vehicle by pointing or gestures, the person huo may feel uncomfortable because he/she may feel as if he or she is being pointed to. Moreover, there are gestures that are taboo in some countries, regions, religions, etc., and if such gestures are performed, trouble with people huo may occur. Therefore, in this embodiment, when a gesture is made in the vehicle, the gesture detection device 11 notifies the person huo that the gesture is made in the vehicle in order to prevent such troubles.

ジェスチャ検出装置１１は、車両内で所定のジェスチャが行われたことを認識し、所定のジェスチャが認識された際に人ｈｕｏを検出する。なお、所定のジェスチャとは、例えば国や地域、宗教等によってタブーと見なされている動作や人を不快にさせる動作等である。ジェスチャ検出装置１１は、車両外に人が検出された場合、車両内で行われるジェスチャを人ｈｕｏに報知する。また、ジェスチャ検出装置１１は、車両外に人が検出された場合、ジェスチャが行われていることを人ｈｕｏに報知していることを示す情報または車両外の人に不快に思われるジェスチャであることを示す情報を、車両内に表示させる。なお、ジェスチャ検出装置１１は、報知を意図したジェスチャを検出したことにより報知部１３から報知させるのではなく、タブーと見なされている動作や人を不快にさせる動作を検出した際に報知させる。すなわち、所定のジェスチャは、報知の指示以外のジャスチャであり、車両外の人にとって不快なジャスチャである。 The gesture detection device 11 recognizes that a predetermined gesture has been made in the vehicle, and detects the person huo when the predetermined gesture is recognized. Note that the predetermined gesture is, for example, an action that is considered taboo by a country, region, religion, or the like, or an action that makes people feel uncomfortable. When a person is detected outside the vehicle, the gesture detection device 11 notifies the person huo of a gesture performed inside the vehicle. In addition, when the gesture detection device 11 detects a person outside the vehicle, the gesture detection device 11 detects information indicating that the person huo is being made a gesture, or a gesture that the person outside the vehicle finds offensive. Information indicating that is displayed in the vehicle. Note that the gesture detection device 11 notifies the notifying unit 13 when a gesture intended to be notified is detected, but notifies when an action regarded as taboo or an action that makes a person uncomfortable is detected. That is, the predetermined gesture is a gesture other than an indication of notification, and is a gesture that is uncomfortable for people outside the vehicle.

筐体１２は、例えば車両である。筐体１２は、ジェスチャ検出装置１１と報知部１３に加え、不図示の車両制御部、駆動部、車輪、電源装置、音響機器、空調機器、通信機器、フロントガラス、サイドガラス、リアガラス等を備える。なお、筐体１２内の機器（音響機器、空調機器、通信機器、ターンシグナル装置、ヘッドランプ装置、ワイパー装置等）は、ジェスチャによって操作されるようにしてもよい。このジェスチャによる筐体１２内の機器の操作は、例えば車両制御部が行う。 The housing 12 is, for example, a vehicle. In addition to the gesture detection device 11 and the notification unit 13, the housing 12 includes a vehicle control unit, driving unit, wheels, power supply, audio equipment, air conditioning equipment, communication equipment, windshield, side glass, rear glass, etc. (not shown). Devices (audio devices, air conditioners, communication devices, turn signal devices, headlamp devices, wiper devices, etc.) inside the housing 12 may be operated by gestures. The operation of the devices in the housing 12 by means of gestures is performed by, for example, the vehicle control unit.

報知部１３は、例えばフロントガラス２１に取り付けられている表示装置である。報知部１３は、ジェスチャ検出装置１１が出力する報知情報を報知する。なお、報知部１３は、スピーカなどの音声出力装置であってもよい。報知情報は、例えば画像情報である。なお、報知情報には、車両内でジェスチャが行われていることを示す情報が含まれている。
または、報知情報には、行われている（または行われた）ジェスチャが、その国や地域でタブーなものであることを示す情報が含まれている。 The notification unit 13 is a display device attached to the windshield 21, for example. The notification unit 13 notifies notification information output by the gesture detection device 11 . Note that the notification unit 13 may be an audio output device such as a speaker. The notification information is, for example, image information. Note that the notification information includes information indicating that a gesture is being made in the vehicle.
Alternatively, the notification information includes information indicating that the gesture being performed (or performed) is taboo in that country or region.

［ジェスチャ検出装置１１の構成例］
ジェスチャ検出装置１１の構成例を説明する。図２は、本実施形態に係るジェスチャ検出装置１１の構成例を示すブロック図である。図２に示すように、ジェスチャ検出装置１１は、ジェスチャ認識部１１１、人検出部１１２、記憶部１１３、情報出力部１１４、および取得部１１５を備える。記憶部１１３は、ジェスチャモデル記憶部１１３１、人モデル記憶部１１３２、および報知情報記憶部１１３３を備える。ジェスチャ検出装置１１は、報知部１３および表示部１４に接続されている。なお、ジェスチャ検出装置１１は、報知部１３および表示部１４を備えていてもよい。また、ジェスチャ検出装置１１には、操作部１５が接続されていてもよい。 [Configuration example of gesture detection device 11]
A configuration example of the gesture detection device 11 will be described. FIG. 2 is a block diagram showing a configuration example of the gesture detection device 11 according to this embodiment. As shown in FIG. 2 , gesture detection device 11 includes gesture recognition section 111 , person detection section 112 , storage section 113 , information output section 114 , and acquisition section 115 . The storage unit 113 includes a gesture model storage unit 1131 , a human model storage unit 1132 and a notification information storage unit 1133 . The gesture detection device 11 is connected to the notification section 13 and the display section 14 . Note that the gesture detection device 11 may include the notification unit 13 and the display unit 14 . Also, the operation unit 15 may be connected to the gesture detection device 11 .

［ジェスチャ検出装置１１の機能］
ジェスチャ認識部１１１は、ジェスチャモデル記憶部１１３１を参照して乗員の所定のジェスチャを認識する。ジェスチャ認識部１１１は、例えば撮影部と画像取得部と画像処理部等を備える。なお、撮影部が備える撮影装置は１つであってもよく、複数であってもよい。ジェスチャ認識部１１１は、撮影された画像に対して所定の画像処理（例えば二値化処理、エッジ検出処理、特徴量抽出処理、クラスタリング処理等）を行う。ジェスチャ認識部１１１は、画像処理された画像とジェスチャモデル記憶部１１３１が記憶するモデル画像を比較して、例えばパターンマッチングの手法によって所定のジェスチャを認識する。ジェスチャ認識部１１１は、認識した認識結果を情報出力部１１４に出力する。また、ジェスチャ認識部１１１は、画像処理した結果に基づいて、ジェスチャが示す方向を推定し、推定した方向を示す情報を人検出部１１２に出力する。なお、ジェスチャが示す方向とは、例えば人差し指が指し示す方向である。なお、ジェスチャ認識部１１１は、例えば光を用いた検出器によって乗員の所定のジェスチャを認識するようにしてもよい。なお、乗員は、ジェスチャを行う前に、操作部１５を操作して、ジェスチャを開始することを設定するようにしてもよい。この場合、ジェスチャ認識部１１１は、操作部１５が出力する操作結果に基づいて、ジェスチャ入力を受け付ける設定にするようにしてもよい。また、操作部１５は、音声を認識して操作を受け付けるようにしてもよい。操作部１５は、例えばジェスチャ入力機能をオン状態にするためのウェイクアップワードが発話されることに基づいて、ジェスチャ入力を受け付けるようにしてもよい。この場合、情報出力部１１４は、ジェスチャ認識部１１１が、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態に遷移したことに基づいて、報知するようにしてもよい。また、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態への遷移は、操作部１５に対する操作されたことやジェスチャ認識機能を起動させるウェイクアップワードが発話されたことなどにより遷移されるようにしてもよい。 [Functions of gesture detection device 11]
The gesture recognition unit 111 refers to the gesture model storage unit 1131 and recognizes a predetermined gesture of the passenger. The gesture recognition unit 111 includes, for example, a photographing unit, an image acquisition unit, an image processing unit, and the like. In addition, the number of imaging devices provided in the imaging unit may be one or plural. The gesture recognition unit 111 performs predetermined image processing (for example, binarization processing, edge detection processing, feature amount extraction processing, clustering processing, etc.) on the captured image. The gesture recognition unit 111 compares the image-processed image with the model image stored in the gesture model storage unit 1131, and recognizes a predetermined gesture by, for example, pattern matching. Gesture recognition section 111 outputs the recognized recognition result to information output section 114 . Also, the gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of the image processing, and outputs information indicating the estimated direction to the person detection unit 112 . Note that the direction indicated by the gesture is, for example, the direction indicated by the index finger. Note that the gesture recognition unit 111 may recognize a predetermined gesture of the occupant by, for example, a detector using light. In addition, the passenger may operate the operation unit 15 to set to start the gesture before performing the gesture. In this case, the gesture recognition unit 111 may be set to accept gesture input based on the operation result output by the operation unit 15 . Further, the operation unit 15 may recognize voice and accept an operation. The operation unit 15 may accept gesture input based on, for example, utterance of a wake-up word for turning on the gesture input function. In this case, the information output unit 114 may notify based on the transition of the gesture recognition unit 111 from the state of not recognizing gestures to the state of recognizing gestures. Also, the transition from the state in which gesture recognition is not performed to the state in which gesture recognition is performed is made by operating the operation unit 15 or uttering a wake-up word for activating the gesture recognition function. can be

人検出部１１２は、人モデル記憶部１１３２を参照してジェスチャ認識部１１１が出力する方向に人が存在しているか否かを検出する。人検出部１１２は、例えばレーザー等を利用したＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）装置である。人検出部１１２は、検出した検出結果を情報出力部１１４に出力する。なお、人検出部１１２は、例えば撮影部と画像取得部と画像処理部等を備え、撮影された画像に基づいて人を検出するようにしてもよい。 The person detection unit 112 refers to the person model storage unit 1132 and detects whether or not a person exists in the direction output by the gesture recognition unit 111 . The human detection unit 112 is, for example, a LiDAR (Light Detection and Ranging) device using a laser or the like. The human detection unit 112 outputs the detected result to the information output unit 114 . Note that the human detection unit 112 may include, for example, a photographing unit, an image acquisition unit, an image processing unit, and the like, and detect a person based on a photographed image.

記憶部１１３は、移動速度に対する閾値を記憶する。 Storage unit 113 stores a threshold value for the moving speed.

ジェスチャモデル記憶部１１３１は、ジェスチャを認識する際に用いられるモデルを記憶する。なお、モデルは、乗員がジェスチャを行った画像を元に生成してもよく、予め記憶していてもよい。なお、モデルは、例えば国や地域毎に記憶する。また、ジェスチャモデル記憶部１１３１は、ジェスチャ毎に、国（または地域）と、その国（または地域）の人が当該ジェスチャを不快に感じるか否かを関連付けて記憶する。 The gesture model storage unit 1131 stores models used when recognizing gestures. Note that the model may be generated based on an image in which the passenger makes a gesture, or may be stored in advance. Note that the model is stored for each country or region, for example. The gesture model storage unit 1131 also stores, for each gesture, a country (or region) and whether or not people in that country (or region) find the gesture uncomfortable.

人モデル記憶部１１３２は、車両外の人を検出する際に用いられるモデルを記憶する。
人モデル記憶部１１３２は、例えば国や地域や宗教に特有の衣装やアクセサリーを検出できるモデルを記憶する。 Human model storage unit 1132 stores a model used when detecting a person outside the vehicle.
The human model storage unit 1132 stores, for example, models that can detect clothes and accessories specific to a country, region, or religion.

報知情報記憶部１１３３は、ジェスチャの示す方向に人が存在する際に報知する情報を記憶する。報知する情報は、例えばテキスト情報である。なお、報知情報記憶部１１３３は、報知する情報を国や地域や宗教毎に、国や地域や宗教に応じた言語やフレーズで記憶する。また、報知情報記憶部１１３３は、報知情報を報知している際に表示部１４に表示するテキスト情報を記憶する。 The notification information storage unit 1133 stores information to be notified when a person is present in the direction indicated by the gesture. The information to be notified is, for example, text information. Note that the notification information storage unit 1133 stores information to be notified in languages and phrases according to the country, region, and religion for each country, region, and religion. Also, the notification information storage unit 1133 stores text information to be displayed on the display unit 14 when notification information is being notified.

情報出力部１１４は、所定のジェスチャが認識された際、ジェスチャの示す方向に人が存在する際に報知する情報を、報知情報記憶部１１３３から読み出す。情報出力部１１４は、読み出した情報を報知情報に変換し、変換した報知情報を報知部１３に出力することで車両外に報知する。また、情報出力部１１４は、報知情報を報知している際に表示部１４に表示するテキスト情報を報知情報記憶部１１３３から読み出す。情報出力部１１４は、読み出した情報を画像情報に変換し、変換した画像情報を表示部１４に出力することで車両内に表示させる。なお、画像情報には、報知情報を報知していることを示す情報が含まれている。なお、情報出力部１１４は、取得部１１５が取得した位置情報に基づいて、車両が走行している国や地域を取得するようにしてもよい。また、情報出力部１１４は、取得部１１５が取得した車両の移動速度が閾値以上の場合に報知情報を報知させ、車両の移動速度が閾値未満の場合に報知情報を報知させないようにしてもよい。すなわち、本実施形態によれば、移動速度に応じて報知情報の報知を行うか否かを切り替えることができる。なお、情報出力部１１４は、車両が停車している場合に報知情報を報知させ、車両が走行している場合に報知情報を報知させないようにしてもよい。 The information output unit 114 reads from the notification information storage unit 1133 information to be notified when a person is present in the direction indicated by the gesture when a predetermined gesture is recognized. The information output unit 114 converts the read information into notification information, and outputs the converted notification information to the notification unit 13 to notify outside the vehicle. Further, the information output unit 114 reads from the notification information storage unit 1133 the text information to be displayed on the display unit 14 while the notification information is being notified. The information output unit 114 converts the read information into image information, and outputs the converted image information to the display unit 14 to display it in the vehicle. Note that the image information includes information indicating that the notification information is being notified. Note that the information output unit 114 may acquire the country or region where the vehicle is traveling based on the position information acquired by the acquisition unit 115 . Further, the information output unit 114 may notify the notification information when the moving speed of the vehicle acquired by the obtaining unit 115 is equal to or higher than the threshold, and may not notify the notification information when the moving speed of the vehicle is less than the threshold. . That is, according to this embodiment, it is possible to switch whether or not to report the report information according to the moving speed. Note that the information output unit 114 may notify the notification information when the vehicle is stopped, and may not notify the notification information when the vehicle is running.

取得部１１５は、筐体１２が車両の場合、車両の移動速度を取得し、取得した移動速度を示す情報を情報出力部１１４に出力する。取得部１１５は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ；全地球測位システム）の受信装置を備え、受信装置が受信した情報に基づいて車両が移動している位置（緯度経度）情報を取得し、取得した位置情報を情報出力部１１４に出力する。 If the housing 12 is a vehicle, the acquisition unit 115 acquires the moving speed of the vehicle and outputs information indicating the acquired moving speed to the information output unit 114 . Acquisition unit 115 includes, for example, a GPS (Global Positioning System) receiver, and acquires the position (latitude and longitude) information where the vehicle is moving based on the information received by the receiver. The position information is output to information output section 114 .

表示部１４は、例えば液晶表示装置、または有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）表示装置等である。表示部１４は、情報出力部１１４が出力する画像情報を表示する。 The display unit 14 is, for example, a liquid crystal display device or an organic EL (Electro Luminescence) display device. The display unit 14 displays image information output by the information output unit 114 .

操作部１５は、例えば表示部１４上に設けられているタッチパネルセンサである。操作部１５は、利用者が操作した操作結果をジェスチャ認識部１１１に出力する。なお、操作部１５は、音声入力部と音声認識部とによって構成されていてもよい。 The operation unit 15 is, for example, a touch panel sensor provided on the display unit 14 . The operation unit 15 outputs the operation result of the user's operation to the gesture recognition unit 111 . Note that the operation unit 15 may be configured by a voice input unit and a voice recognition unit.

なお、ジェスチャ検出装置１１の構成要素は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのハードウェア（回路部；ｃｉｒｃｕｉｔｒｙを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。 Note that the constituent elements of the gesture detection device 11 are implemented by a hardware processor such as a CPU (Central Processing Unit) executing a program (software). Some or all of these components are LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit) and other hardware (circuit part; circuit), or by cooperation of software and hardware. The program may be stored in advance in a storage device (a storage device with a non-transitory storage medium) such as a HDD (Hard Disk Drive) or flash memory, or may be stored in a removable storage such as a DVD or CD-ROM. It may be stored in a medium (non-transitory storage medium) and installed by loading the storage medium into a drive device.

［ジェスチャモデルの例］
次に、ジェスチャモデル記憶部１１３１が記憶するモデルの例を説明する。図３は、本実施形態に係るジェスチャモデル記憶部１１３１が記憶するモデルの例を示す図である。
図３に示すように、ジェスチャモデル記憶部１１３１は、ジェスチャ毎に、国（または地域、文化圏）と、その国（または地域、文化圏）の人が当該ジェスチャを不快に感じるか否かを関連付けて記憶する。ジェスチャモデル記憶部１１３１は、例えば第１のジェスチャに、第１の国と第２の国において当該ジェスチャを不快に感じないことを示す情報（ＯＫ）と、第３の国において当該ジェスチャを不快に感じることを示す情報（ＮＧ）とを関連付けて記憶する。なお、所定の国や地域内とは、少なくとも１つのジェスチャについてＮＧが付されている国や地域（文化圏）である。このため、情報出力部１１４は、どのジェスチャに対してもＮＧがついていない（すべてＯＫ）の国（文化圏）で使用されている場合、報知を実行しなくてもよい。 [Gesture model example]
Next, examples of models stored in the gesture model storage unit 1131 will be described. FIG. 3 is a diagram showing an example of a model stored in the gesture model storage unit 1131 according to this embodiment.
As shown in FIG. 3, the gesture model storage unit 1131 stores, for each gesture, a country (or region or cultural area) and whether or not people in that country (or region or cultural area) feel uncomfortable with the gesture. Store in association. For example, the gesture model storage unit 1131 stores, in the first gesture, information (OK) indicating that the gesture is not uncomfortable in the first country and the second country, and information (OK) indicating that the gesture is uncomfortable in the third country. It is stored in association with information (NG) indicating the feeling. Note that the predetermined country or region is a country or region (cultural area) in which at least one gesture is NG. Therefore, when the information output unit 114 is used in a country (cultural area) where no gesture is marked as NG (all OK), the information output unit 114 does not need to perform notification.

［報知部１３に報知される報知情報の例］
次に、報知部１３に報知される報知情報の例を説明する。図４は、本実施形態に係る報知部１３に報知される報知情報の例を示す図である。図４において、符号ｇ１１は報知情報を表し、符号ｇ１２はジェスチャの例として人差し指による指さしを表し、符号ｇ１３は表示部１４に表示される画像情報を表している。なお、符号ｇ１１に示す例は、報知情報が画像情報の例であり、車両内から見た画像例である。また、符号ｇ１１に示す例は、ジェスチャが示す方向がフロントガラスの前方下部の例である。なお、図４に示す例は、乗員が行ったジェスチャが、その国では不快に思われる場合の動作例を示している。 [Example of notification information notified to notification unit 13]
Next, an example of notification information notified to the notification unit 13 will be described. FIG. 4 is a diagram showing an example of notification information notified to the notification unit 13 according to this embodiment. In FIG. 4 , symbol g11 represents notification information, symbol g12 represents pointing with an index finger as an example of a gesture, and symbol g13 represents image information displayed on the display unit 14 . Note that the example indicated by symbol g11 is an example of image information as the notification information, and is an example of an image viewed from inside the vehicle. Also, in the example indicated by symbol g11, the direction indicated by the gesture is the front lower portion of the windshield. It should be noted that the example shown in FIG. 4 shows an operation example when the gesture made by the passenger is considered offensive in that country.

図４に示すように、ジェスチャ検出装置１１は、乗員がジェスチャを行った際、且つそのジェスチャが示す方向（符号ｇ１４）に人ｈｕｏが存在する場合、その人ｈｕｏに対して報知情報ｇ１１を報知する。この際、報知情報が表示される位置は、ジェスチャが指し示す方向に対応する報知部１３上の位置である。図５を用いて説明するように、報知部１３は、複数に分割されていて個別に制御可能である。また、報知画像は、国や地域に応じた言語や内容である。また、報知画像は、人ｈｕｏから見て読める状態で報知する。このため、符号ｇ１１は、車両内から見た画像のため、テキスト画像が反転している。なお、図４に示した例では、フロントガラスに報知情報を報知する例を示したが、これに限らない。ジェスチャが示す方向が、例えば右方向の場合、ジェスチャ検出装置１１は、右方向のサイドガラスに設けられた報知部１３に報知情報を報知させる。また、ジェスチャ検出装置１１は、車両外に報知情報を報知している際、行ったジェスチャが相手に不快感を与えるジェスチャであることを示す情報を符号ｇ１３のように車両内に表示させる。なお、ジェスチャ検出装置１１は、報知情報を報知していることを示す情報を車両内に表示させるようにしてもよい。なお、車両内へは、表示に限らず、例えば音声による報知であってもよい。なお、ジェスチャ認識部１１１は、ジェスチャが示す方向を、撮影した画像を画像処理した結果に基づいて推定する。なお、報知情報は、周囲の明るさに応じて表示の輝度やコントラスト等の表示方法を変更するようにしてもよい。 As shown in FIG. 4, when the occupant makes a gesture and when the person huo is present in the direction indicated by the gesture (symbol g14), the gesture detection device 11 notifies the person huo of notification information g11. do. At this time, the position where the notification information is displayed is the position on the notification unit 13 corresponding to the direction indicated by the gesture. As will be described with reference to FIG. 5, the notification unit 13 is divided into a plurality of units and can be individually controlled. Also, the notification image has a language and contents corresponding to the country or region. Also, the notification image is notified in a state that the person huo can see and read it. Therefore, since the symbol g11 is an image viewed from inside the vehicle, the text image is inverted. In addition, although the example shown in FIG. 4 showed the example which alert|reports alerting|reporting information to a windshield, it does not restrict to this. When the direction indicated by the gesture is, for example, the right direction, the gesture detection device 11 causes the notification unit 13 provided on the right side glass to notify the notification information. In addition, the gesture detection device 11 displays information inside the vehicle, such as g13, indicating that the performed gesture is a gesture that gives discomfort to the other party when reporting the notification information outside the vehicle. Note that the gesture detection device 11 may display information in the vehicle indicating that the notification information is being notified. Note that the notification to the inside of the vehicle is not limited to the display, and may be, for example, an audio notification. Note that the gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of image processing of the captured image. It should be noted that the display method of the notification information, such as the brightness and contrast of the display, may be changed according to the brightness of the surroundings.

［報知部１３が表示装置の例］
次に、報知部１３が表示装置の例を説明する。図５は、本実施形態に係る報知部１３が表示装置の例を示す図である。図５は、報知部１３が車両（筐体１２）のフロントガラス２１の内側に取り付けられている例である。なお、報知部１３は、ジェスチャを行う乗員と、人（ｈｕｏ）との間に設けられていればよいので、例えばフロントガラスに内蔵されていてもよく、フロントガラスの外側に設けられていてもよい。図５に示す例では、報知部１３は、報知部１３－１～１３－４を備え、高さ方向に４分割されている。情報出力部１１４は、ジェスチャが指し示す方向に人が検出された場合、ジェスチャが指し示す方向に対応する報知部１３－１～１３－４のうちの少なくとも１つに報知情報を表示させる。
なお、報知部１３は、テキストが表示される方向である横方向にも分割されていてもよい。 [Example in which the notification unit 13 is a display device]
Next, an example in which the notification unit 13 is a display device will be described. FIG. 5 is a diagram showing an example of the display device of the notification unit 13 according to the present embodiment. FIG. 5 shows an example in which the notification unit 13 is attached inside the windshield 21 of the vehicle (housing 12). Note that the notification unit 13 may be provided between the occupant who makes the gesture and the person (huo). good. In the example shown in FIG. 5, the notification unit 13 is provided with notification units 13-1 to 13-4 and divided into four in the height direction. When a person is detected in the direction indicated by the gesture, the information output unit 114 causes at least one of the notification units 13-1 to 13-4 corresponding to the direction indicated by the gesture to display notification information.
Note that the notification unit 13 may also be divided in the horizontal direction, which is the direction in which the text is displayed.

［ジェスチャと報知情報の表示可否と表示位置の関係例］
次に、ジェスチャと報知情報の表示可否と表示位置の関係例を説明する。図６は、本実施形態に係るジェスチャと報知情報の表示可否と表示位置の関係例を示す図である。符号ｇ１０１が示す図は、例えば時刻ｔ１において乗員が第１のジェスチャを行った際の報知情報の表示可否と表示位置の関係例を説明するための図である。符号１０３が示す図は、例えば時刻ｔ２において乗員が第２のジェスチャを行った際の報知情報の表示可否と表示位置の関係例を説明するための図である。 [Relationship example between gesture and notification information display availability and display position]
Next, an example of a relationship between a gesture, whether notification information can be displayed, and a display position will be described. FIG. 6 is a diagram showing an example of the relationship between gestures, display availability of notification information, and display positions according to the present embodiment. The diagram indicated by reference g101 is a diagram for explaining an example of the relationship between whether or not to display the notification information and the display position when the passenger performs the first gesture at time t1, for example. A diagram denoted by reference numeral 103 is a diagram for explaining an example of the relationship between whether or not to display the notification information and the display position when the passenger performs the second gesture at time t2, for example.

符号ｇ１０１に示す例において、ジェスチャ検出装置１１は、第１のジェスチャが相手に不快感を与えるジェスチャであると判断し、当該ジェスチャの示す方向に人ｈｕｏ１が存在していると判断する。このため、ジェスチャ検出装置１１は、ジェスチャの示す方向に対応する報知部１３の位置に報知情報（ｇ１１）を報知させる。なお、ジェスチャ検出装置１１は、ジェスチャの示す方向に人ｈｕｏ２が存在していない場合であっても報知してもよく、報知する場合、ジェスチャの示す方向に対応する位置の領域を少なくとも含む領域に報知させるようにしてもよい。 In the example indicated by reference g101, the gesture detection device 11 determines that the first gesture is a gesture that gives discomfort to the other party, and determines that the person huo1 is present in the direction indicated by the gesture. Therefore, the gesture detection device 11 notifies the notification information (g11) to the position of the notification unit 13 corresponding to the direction indicated by the gesture. Note that the gesture detection device 11 may notify even when the person huo2 is not present in the direction indicated by the gesture. You may make it notify.

符号ｇ１０３に示す例において、ジェスチャ検出装置１１は、第２のジェスチャが相手に不快感を与えないジェスチャであると判断し、当該ジェスチャの示す方向に人ｈｕｏ２が存在していると判断する。このため、ジェスチャ検出装置１１は、ジェスチャの示す方向に人ｈｕｏ２が存在していても、報知情報を報知しない。 In the example indicated by reference g103, the gesture detection device 11 determines that the second gesture is a gesture that does not cause discomfort to the other party, and determines that the person huo2 is present in the direction indicated by the gesture. Therefore, the gesture detection device 11 does not notify the notification information even if the person huo2 is present in the direction indicated by the gesture.

図６に示したように、本実施形態では、ジェスチャの示す方向に対応する報知部１３の位置に報知情報を報知させる。また、本実施形態では、ジェスチャと、ジェスチャが行われた国や地域に基づいて、報知情報の報知可否を判断する。なお、上述したように、ジェスチャ検出装置１１が車両に搭載されている場合、車両の移動速度が閾値以上の場合、仮に車両外に人がいても、車両内で行われているジェスチャが車両外の人から見えないと判断して、ジェスチャの形や動作にかかわらず、そして車両外の人の有無にかかわらず報知情報を報知しないようにしてもよい。 As shown in FIG. 6, in this embodiment, notification information is notified to the position of the notification unit 13 corresponding to the direction indicated by the gesture. Further, in the present embodiment, whether or not to report the report information is determined based on the gesture and the country or region where the gesture was made. As described above, when the gesture detection device 11 is mounted in the vehicle, if the movement speed of the vehicle is equal to or higher than the threshold, even if there is a person outside the vehicle, the gesture performed inside the vehicle is detected outside the vehicle. It may be determined that the information is not visible to a person, and the notification information may not be notified regardless of the shape or action of the gesture, and regardless of the presence or absence of a person outside the vehicle.

また、情報出力部１１４は、車両が所定の国や地域内で使用され、ジェスチャ認識部１１１がジェスチャの認識を行う状態にあるときに、報知するようにしてもよい。また、情報出力部１１４は、ジェスチャ認識部１１１が、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態に遷移したことに基づいて、報知するようにしてもよい。また、情報出力部１１４は、ジェスチャ認識部１１１が、利用者の所定のジェスチャを認識したことに基づいて、報知するようにしてもよい。 Further, the information output unit 114 may notify when the vehicle is used in a predetermined country or region and the gesture recognition unit 111 is in a state of performing gesture recognition. Further, the information output unit 114 may notify based on the transition of the gesture recognition unit 111 from a state in which gesture recognition is not performed to a state in which gesture recognition is performed. Further, the information output unit 114 may notify based on the gesture recognition unit 111 recognizing a predetermined gesture of the user.

［ジェスチャ検出装置１１の処理手順例］
次に、ジェスチャ検出装置１１の処理手順例を説明する。図７は、本実施形態に係るジェスチャ検出装置１１の処理のフローチャートである。 [Example of processing procedure of gesture detection device 11]
Next, a processing procedure example of the gesture detection device 11 will be described. FIG. 7 is a flowchart of processing of the gesture detection device 11 according to this embodiment.

取得部１１５は、車両の移動速度を取得する。取得部１１５は、ＧＰＳの受信装置が受信した情報に基づいて車両が移動している位置（緯度経度）情報を取得する（ステップＳ１）。 Acquisition unit 115 acquires the moving speed of the vehicle. The acquisition unit 115 acquires position (latitude and longitude) information where the vehicle is moving based on the information received by the GPS receiver (step S1).

ジェスチャ認識部１１１は、例えば所定の時間間隔毎に乗員を含む画像を撮影する。次に、ジェスチャ認識部１１１は、撮影された画像に対して画像処理を行い、画像処理された画像とジェスチャモデル記憶部１１３１を比較して乗員の所定のジェスチャを行っているか否かを判別する（ステップＳ２）。 The gesture recognition unit 111 captures an image including the passenger at predetermined time intervals, for example. Next, the gesture recognition unit 111 performs image processing on the captured image, compares the processed image with the gesture model storage unit 1131, and determines whether or not the occupant is making a predetermined gesture. (Step S2).

ジェスチャ認識部１１１は、乗員が所定のジェスチャを行っていると判別した場合（ステップＳ２；ＹＥＳ）、撮影された画像に対する画像処理の結果に基づいてジェスチャが示す方向を推定する（ステップＳ３）。ジェスチャ認識部１１１は、乗員が所定のジェスチャを行っていないと判別した場合（ステップＳ２；ＮＯ）、ステップＳ１の処理に戻す。 When the gesture recognition unit 111 determines that the occupant is making a predetermined gesture (step S2; YES), the gesture recognition unit 111 estimates the direction indicated by the gesture based on the image processing result of the captured image (step S3). When the gesture recognition unit 111 determines that the occupant has not made the predetermined gesture (step S2; NO), the process returns to step S1.

乗員が所定のジェスチャを行っている場合、人検出部１１２は、人モデル記憶部１１３２を参照してジェスチャ認識部１１１が出力する方向に人が存在しているか否かを判別する（ステップＳ４）。人検出部１１２は、ジェスチャ認識部１１１が出力する方向に人が存在していないと判別した場合（ステップＳ４；ＮＯ）、ステップＳ１０の処理に進める。 When the occupant is making a predetermined gesture, the person detection unit 112 refers to the person model storage unit 1132 and determines whether or not a person exists in the direction output by the gesture recognition unit 111 (step S4). . When the person detection unit 112 determines that there is no person in the output direction of the gesture recognition unit 111 (step S4; NO), the process proceeds to step S10.

ジェスチャ認識部１１１が出力する方向に人が存在していると判別された場合（ステップＳ４；ＹＥＳ）、情報出力部１１４は、取得部１１５が取得した移動速度が閾値以上であるか否かを判別する（ステップＳ５）。情報出力部１１４は、移動速度が閾値以上であると判別した場合（ステップＳ５；ＹＥＳ）、ステップＳ１の処理に戻す。 When it is determined that a person exists in the direction output by the gesture recognition unit 111 (step S4; YES), the information output unit 114 determines whether the moving speed acquired by the acquisition unit 115 is equal to or greater than the threshold. Determine (step S5). When the information output unit 114 determines that the moving speed is equal to or greater than the threshold (step S5; YES), the process returns to step S1.

情報出力部１１４は、移動速度が閾値未満であると判別した場合（ステップＳ５；ＹＥＳ）、報知情報記憶部１１３３から報知するテキスト情報を取得して、取得したテキスト情報に基づいて報知情報を生成する（ステップＳ６）。次に、情報出力部１１４は、生成した報知情報を報知部１３に出力する。次に、情報出力部１１４は、報知情報を報知中であることを示す画像情報を生成し、生成した画像情報を表示部１４に出力する（ステップＳ７）。 When the information output unit 114 determines that the moving speed is less than the threshold value (step S5; YES), the information output unit 114 acquires text information to be notified from the notification information storage unit 1133, and generates notification information based on the obtained text information. (step S6). Next, the information output section 114 outputs the generated notification information to the notification section 13 . Next, the information output unit 114 generates image information indicating that the notification information is being notified, and outputs the generated image information to the display unit 14 (step S7).

情報出力部１１４は、報知情報を、報知部１３によって車両外に報知させる（ステップＳ８）。次に、情報出力部１１４は、画像情報を、表示部１４によって車両内に表示させる（ステップＳ９）。 The information output unit 114 causes the notification unit 13 to notify the outside of the vehicle of the notification information (step S8). Next, the information output unit 114 causes the display unit 14 to display the image information inside the vehicle (step S9).

情報出力部１１４は、ジェスチャ認識部１１１が出力する方向に人が存在していないと判別した場合（ステップＳ４；ＮＯ）、すなわちジェスチャが検出されても、ジェスチャが示す方向に人がいない場合、報知情報を生成する（ステップＳ１０）。次に、情報出力部１１４は、生成した報知情報を報知部１３に出力する。または、情報出力部１１４は、生成した報知情報を表示部１４に出力する（ステップＳ１１）。 If the information output unit 114 determines that there is no person in the direction output by the gesture recognition unit 111 (step S4; NO), that is, if the gesture is detected but there is no person in the direction indicated by the gesture, Notification information is generated (step S10). Next, the information output section 114 outputs the generated notification information to the notification section 13 . Alternatively, the information output unit 114 outputs the generated notification information to the display unit 14 (step S11).

情報出力部１１４は、報知情報を、報知部１３によって車両１内に報知させる（ステップＳ１２）。または、情報出力部１１４は、報知情報を、表示部１４によって車両１内に表示させる（ステップＳ１２）。なお、車両１内に報知または表示される報知情報は、例えば「この地域では、そのジェスチャがタブーであること」を示す情報である。 The information output unit 114 causes the notification unit 13 to notify the vehicle 1 of the notification information (step S12). Alternatively, the information output unit 114 causes the display unit 14 to display the notification information inside the vehicle 1 (step S12). Note that the notification information notified or displayed in the vehicle 1 is, for example, information indicating "that gesture is taboo in this area".

なお、情報出力部１１４は、報知可能な方向全てに対して報知情報を報知させるようにしてもよい。また、情報出力部１１４は、人の有無を検出せずに、ジェスチャが認識された際に報知情報を報知させるようにしてもよい。この場合、情報出力部１１４は、車両外の人の有無や方向を検出せずに報知情報を報知させるようにしてもよい。また、情報出力部１１４は、移動速度にかかわらずに報知情報を報知させるようにしてもよい。また、報知情報を表示させる位置は、ジェスチャが示す方向に限らず、車両外の人から見える位置であってもよい。 Note that the information output unit 114 may notify the notification information in all the directions in which notification is possible. Alternatively, the information output unit 114 may notify the notification information when a gesture is recognized without detecting the presence or absence of a person. In this case, the information output unit 114 may notify the notification information without detecting the presence or direction of a person outside the vehicle. Also, the information output unit 114 may notify the notification information regardless of the moving speed. Further, the position where the notification information is displayed is not limited to the direction indicated by the gesture, and may be a position visible to a person outside the vehicle.

以上のように、本実施形態では、車両内で指さし等のジェスチャを行った場合に、ジェスチャを行っていることを人に対して報知するようにした。
この構成によって、本実施形態によれば、車両内で指さし等のジェスチャを行った場合に、車両外の人とのトラブルを防ぐことができる。 As described above, in the present embodiment, when a gesture such as pointing is performed in the vehicle, the person is notified that the gesture is being performed.
With this configuration, according to the present embodiment, troubles with people outside the vehicle can be prevented when a gesture such as pointing is performed inside the vehicle.

また、本実施形態によれば、筐体内でジェスチャを行った場合かつ筐体外に人が検出された際に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外の人に対して不快な感じを与えないようにすることができる。
また、本実施形態によれば、筐体内でジェスチャを行った場合かつジェスチャが指し示す方向に筐体外に人が検出された際に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外の人に対して不快な感じを与えないようにすることができる。 Further, according to the present embodiment, when a gesture is made inside the housing and when a person is detected outside the housing, the fact that the gesture is being made is output outside the housing. It is possible to prevent people from feeling uncomfortable.
Further, according to the present embodiment, when a gesture is made within the housing and when a person is detected outside the housing in the direction indicated by the gesture, the fact that the gesture is being performed is output outside the housing. Therefore, it is possible to prevent people outside the housing from feeling uncomfortable.

また、本実施形態によれば、筐体内でジェスチャを行った場合かつジェスチャが指し示す方向に筐体外に人が検出された際に、ジェスチャが行われていることをジェスチャが指し示す方向の筐体外に出力するようにしたので、ジェスチャが指し示す方向の筐体外の人に対して不快な感じを与えないようにすることができる。
また、本実施形態によれば、国や地域や例えば宗教等によってタブーとされているジェスチャに応じて報知情報の出力を制御することができる。
また、本実施形態によれば、筐体内に報知情報を出力していることを報知するようにしたので、乗員は、人に遠慮せずにジェスチャを行うことができる。 Further, according to the present embodiment, when a gesture is made within the housing and a person is detected outside the housing in the direction indicated by the gesture, it is possible to detect that the gesture is being performed outside the housing in the direction indicated by the gesture. Since the gesture is output, it is possible to prevent a person outside the housing in the direction indicated by the gesture from feeling uncomfortable.
Further, according to the present embodiment, it is possible to control the output of notification information in accordance with gestures that are taboo by country, region, religion, or the like.
In addition, according to the present embodiment, it is notified that the notification information is being output within the housing, so the occupant can make gestures without being shy about other people.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.

１…ジェスチャシステム、
１２…筐体、
１１…ジェスチャ検出装置、
１３…報知部、
１１１…ジェスチャ認識部、
１１２…人検出部、
１１３…記憶部、
１１４…情報出力部、
１１３１…ジェスチャモデル記憶部、
１１３２…人モデル記憶部、
１１３３…報知情報記憶部 1... gesture system,
12... housing,
11... Gesture detection device,
13 ... reporting unit,
111... Gesture recognition unit,
112... human detection unit,
113 ... storage unit,
114 ... information output unit,
1131 ... Gesture model storage unit,
1132... Person model storage unit,
1133: notification information storage unit

Claims

a gesture recognition unit capable of recognizing a user's gesture;
an information output unit that outputs notification information indicating that the gesture is being performed when the gesture recognition unit is in a state of recognizing the gesture;
A person detection unit that detects a person other than the user,
The gesture detection device, wherein the information output unit outputs the notification information when a person other than the user is detected.

The information output unit outputs the notification information in the direction when the person is detected in the direction indicated by the gesture.
The gesture detection device according to claim 1.

a gesture recognition unit capable of recognizing a user's gesture;
an information output unit that outputs notification information indicating that the gesture is being performed when the gesture recognition unit is in a state of recognizing the gesture;
The gesture recognition unit estimates a direction indicated by the gesture,
The gesture detection device, wherein the information output unit outputs the notification information in the direction.

The information output unit outputs the notification information based on transition of the gesture recognition unit from a state in which the gesture is not recognized to a state in which the gesture is recognized.
A gesture detection device according to any one of claims 1 to 3.

The information output unit outputs the notification information based on the gesture recognition unit recognizing a predetermined gesture of the user.
A gesture detection device according to any one of claims 1 to 4.

The predetermined gesture is
A gesture other than an instruction to output information to the information output unit,
The gesture detection device according to claim 5.

The information output unit
Outputting the notification information before the predetermined gesture is performed;
A gesture detection device according to claim 5 or 6.

Recognizing user gestures,
outputting notification information indicating that the gesture is being performed when the gesture is being recognized;
detecting a person other than the user;
outputting the notification information when a person other than the user is detected;
Gesture detection method.

Recognizing user gestures,
outputting notification information indicating that the gesture is being performed when the gesture is being recognized;
estimating a direction indicated by the gesture;
outputting the notification information in the direction;
Gesture detection method.

In the computer of the gesture detection device,
Recognize user gestures,
outputting notification information indicating that the gesture is being performed when the gesture is being recognized;
detect a person other than the user;
outputting the notification information when a person other than the user is detected;
program.

In the computer of the gesture detection device,
Recognize user gestures,
outputting notification information indicating that the gesture is being performed when the gesture is being recognized;
estimating a direction indicated by the gesture;
outputting the notification information in the direction;
program.