JP2021101324A

JP2021101324A - Gesture detection device, gesture detection method, and program

Info

Publication number: JP2021101324A
Application number: JP2019233172A
Authority: JP
Inventors: 諒竹林; Ryo Takebayashi
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-12-24
Filing date: 2019-12-24
Publication date: 2021-07-08
Anticipated expiration: 2039-12-24
Also published as: JP7412507B2; JP7175257B2; JP2023009149A

Abstract

To provide a gesture detection device, a gesture detection method, and a program which prevent a person outside a housing from feeling discomfort when performing a gesture in the housing.SOLUTION: A gesture detection device includes: a gesture recognition section capable of recognizing a gesture of a user in a housing; and an information output section that outputs notification information indicating that the gesture is performed in the housing to an outside of the housing when the gesture recognition section is in a state of recognizing the gesture.SELECTED DRAWING: Figure 2

Description

本発明は、ジェスチャ検出装置、ジェスチャ検出方法、およびプログラムに関する。 The present invention relates to a gesture detection device, a gesture detection method, and a program.

車両内において、前方を注視しながらターンシグナル装置、ヘッドランプ装置、ワイパー装置等の車載機器を、手指のジェスチャを用いて操作することが提案されている（例えば特許文献１参照）。 It has been proposed to operate an in-vehicle device such as a turn signal device, a headlamp device, and a wiper device in a vehicle while gazing at the front using a gesture of fingers (see, for example, Patent Document 1).

特開２０１６−５２８６１号公報Japanese Unexamined Patent Publication No. 2016-52861

しかしながら、従来技術による指さしや手のジェスチャを用いた操作では、その指さしや手のジェスチャが国や地域によってはマナー違反であり、指をさされた人が不快に感じる場合がある。 However, in the operation using the pointing or hand gesture by the conventional technique, the pointing or hand gesture is a violation of etiquette in some countries or regions, and the person who is pointed at the finger may feel uncomfortable.

本発明は、このような事情を考慮してなされたものであり、筐体内でジェスチャを行う場合に、筐体外にいる人に対して不快な感じを与えないようにするジェスチャ検出装置、ジェスチャ検出方法、およびプログラムを提供することを目的の一つとする。 The present invention has been made in consideration of such circumstances, and when performing a gesture inside the housing, a gesture detection device and a gesture detection that do not give an unpleasant feeling to a person outside the housing. One of the purposes is to provide methods and programs.

この発明に係るジェスチャ検出装置、ジェスチャ検出方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るジェスチャ検出装置は、筐体内の利用者の所定のジェスチャを認識するジェスチャ認識部と、前記所定のジェスチャが認識された際、前記筐体内で前記所定のジェスチャが行われていることを示す報知情報を前記筐体外に出力する情報出力部と、を備えるジェスチャ検出装置である。 The gesture detection device, the gesture detection method, and the program according to the present invention have the following configurations.
(1): The gesture detection device according to one aspect of the present invention includes a gesture recognition unit that recognizes a predetermined gesture of a user in the housing, and the predetermined gesture in the housing when the predetermined gesture is recognized. It is a gesture detection device including an information output unit that outputs notification information indicating that a gesture is being performed to the outside of the housing.

（２）：上記（１）の態様において、前記情報出力部は、前記筐体が所定の国や地域内で使用され、前記ジェスチャ認識部が前記ジェスチャの認識を行う状態にあるときに、前記報知情報を前記筐体外に出力するものである。 (2): In the aspect of (1) above, the information output unit is described when the housing is used in a predetermined country or region and the gesture recognition unit is in a state of recognizing the gesture. The notification information is output to the outside of the housing.

（３）：上記（１）または（２）の態様において、前記情報出力部は、前記ジェスチャ認識部が前記ジェスチャの認識を行わない状態から前記ジェスチャの認識を行う状態に遷移したことに基づいて、前記報知情報を前記筐体外に出力するものである。 (3): In the aspect of (1) or (2) above, the information output unit has transitioned from a state in which the gesture recognition unit does not recognize the gesture to a state in which the gesture recognition is performed. , The notification information is output to the outside of the housing.

（４）：上記（１）から（３）のいずれか１つ態様において、前記情報出力部は、前記ジェスチャ認識部が、前記利用者の所定のジェスチャを認識したことに基づいて、前記報知情報を前記筐体外に出力するものである。 (4): In any one of the above (1) to (3), the information output unit is based on the fact that the gesture recognition unit recognizes a predetermined gesture of the user. Is output to the outside of the housing.

（５）：上記（４）の態様において、前記所定のジェスチャは、前記情報出力部に情報を出力させる指示以外のジェスチャであるものである。 (5): In the aspect of (4) above, the predetermined gesture is a gesture other than an instruction to output information to the information output unit.

（６）：上記（４）または（５）の態様において、前記所定のジェスチャは、前記筐体外の人にとって不快なジェスチャであるものである。 (6): In the aspect of (4) or (5) above, the predetermined gesture is a gesture that is unpleasant for a person outside the housing.

（７）：上記（４）から（６）のいずれか１つ態様において、前記情報出力部は、前記所定のジェスチャが行われる前に、前記報知情報を前記筐体外に出力するものである。 (7): In any one of the above (4) to (6), the information output unit outputs the broadcast information to the outside of the housing before the predetermined gesture is performed.

（８）：上記（１）から（７）のいずれか１つの態様において、前記筐体外の人を検出する人検出部、を備え、前記情報出力部は、前記人が検出された際、前記報知情報を前記筐体外に出力するものである。 (8): In any one of the above (1) to (7), the information output unit includes a person detection unit that detects a person outside the housing, and the information output unit is said to be said when the person is detected. The notification information is output to the outside of the housing.

（９）：上記（８）の態様において、前記ジェスチャ認識部は、前記ジェスチャが指し示す方向を推定し、前記情報出力部は、推定された前記ジェスチャが指し示す方向に前記人が検出された際、前記報知情報を前記筐体外に出力するものである。 (9): In the aspect of (8) above, when the gesture recognition unit estimates the direction pointed to by the gesture, and the information output unit detects the person in the direction pointed to by the estimated gesture. The notification information is output to the outside of the housing.

（１０）：上記（８）の態様において、記情報出力部は、推定されたジェスチャが指し示す方向に前記人が検出された際、前記報知情報を、前記筐体外の前記推定されたジェスチャが指し示す方向の領域を少なくとも含む領域に出力するものである。 (10): In the aspect of (8) above, when the person is detected in the direction indicated by the estimated gesture, the information output unit points out the notification information by the estimated gesture outside the housing. It outputs to the area including at least the area in the direction.

（１１）：上記（４）から（７）のいずれか１つの態様において、前記所定のジェスチャは、国や地域毎に設定されているものである。 (11): In any one of the above (4) to (7), the predetermined gesture is set for each country or region.

（１２）：上記（１）から（１１）のいずれか１つの態様において、前記情報出力部は、前記報知情報を前記筐体外に出力中であることを、前記筐体内に出力するものである。 (12): In any one of the above (1) to (11), the information output unit outputs that the notification information is being output to the outside of the housing. ..

（１３）：上記（１）から（１２）のいずれか１つの態様において、前記筐体の移動速度を取得する取得部を備え、前記情報出力部は、取得された前記移動速度が閾値以上の場合に前記報知情報を出力し、取得された前記移動速度が閾値未満の場合に前記報知情報を出力しないものである。 (13): In any one of the above (1) to (12), the information output unit includes an acquisition unit for acquiring the movement speed of the housing, and the information output unit has the acquired movement speed equal to or higher than a threshold value. In this case, the notification information is output, and when the acquired movement speed is less than the threshold value, the notification information is not output.

（１４）：上記（１）から（１３）のいずれか１つの態様において、前記報知情報は画像情報であり、前記報知情報を表示する画像表示装置を備え、前記情報出力部は、前記報知情報を前記画像表示装置に表示させることで報知させるものである。 (14): In any one of the above (1) to (13), the notification information is image information, includes an image display device for displaying the notification information, and the information output unit is the notification information. Is displayed on the image display device to notify the user.

（１５）：この発明の一態様に係るジェスチャ検出方法は、筐体内の利用者のジェスチャを認識し、前記ジェスチャの認識を行う状態にあるときに、前記筐体内で前記ジェスチャが行われていることを示す報知情報を前記筐体外に出力する、ジェスチャ検出方法である。 (15): In the gesture detection method according to one aspect of the present invention, the gesture is performed in the housing when the user's gesture in the housing is recognized and the gesture is recognized. This is a gesture detection method that outputs notification information indicating that to the outside of the housing.

（１６）：この発明の一態様に係るプログラムは、ジェスチャ検出装置のコンピュータに、筐体内の利用者のジェスチャを認識させ、前記ジェスチャの認識を行う状態にあるときに、前記筐体内で前記ジェスチャが行われていることを示す報知情報を前記筐体外に出力させる、プログラムである。 (16): In the program according to one aspect of the present invention, when the computer of the gesture detection device is in a state of recognizing the gesture of the user in the housing and recognizing the gesture, the gesture is performed in the housing. This is a program that outputs notification information indicating that the above-mentioned is being performed to the outside of the housing.

（１）〜（１６）によれば、筐体内でジェスチャを行った場合に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
（２）によれば、少なくとも１つのジェスチャについてＮＧが付されている国や地域（文化圏）において、そのジェスチャが行われる際、筐体外にいる人に対して不快な感じを与えないようにすることができる。
（３）によれば、操作部に対する操作されたことやジェスチャ認識機能を起動させるウェイクアップワードが発話されたことなどにより遷移させることができる。
（４）によれば、利用者の所定のジェスチャに基づいて報知するようにしたので、所定のジェスチャが行われる際、筐体外にいる人に対して不快な感じを与えないようにすることができる。
（５）によれば、他のジェスチャによって報知されることを防止することができる。
（６）によれば、筐体外にいる人に対して不快な感じを与えないようにすることができる。
（７）によれば、ジェスチャが行われる前に報知するようにしたので、筐体外にいる人に対して、より不快な感じを与えないようにすることができる。
（８）によれば、筐体内でジェスチャを行いかつ筐体外に人が検出された場合に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
（９）によれば、筐体内でジェスチャを行いかつ筐体外のジェスチャが指し示す方向に人が検出された場合に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外にいる人に対して不快な感じを与えないようにすることができる。
（１０）によれば、筐体内でジェスチャを行いかつ筐体外のジェスチャが指し示す方向に人が検出された場合に、ジェスチャが行われていることをジェスチャが指し示す方向の筐体外に出力するようにしたので、ジェスチャが指し示す方向の筐体外にいる人に対して不快な感じを与えないようにすることができる。
（１１）によれば、国や地域によってタブーとされているジェスチャに応じて報知情報の出力を制御することができる。
（１２）によれば、筐体内に報知情報を出力していることを報知するようにしたので、人に遠慮せずにジェスチャを行うことができる。
（１３）によれば、筐体が移動している場合、筐体の移動速度に応じて報知情報を報知するか報知しないか切り替えることができる。
（１４）によれば、報知情報を画像表示装置に表示させて報知するため、筐体外の人にジェスチャが筐体内で行われていることを報知することができる。 According to (1) to (16), when a gesture is performed inside the housing, the fact that the gesture is being performed is output to the outside of the housing, so that the person outside the housing feels uncomfortable. Can be avoided.
According to (2), in a country or region (cultural area) where at least one gesture is NG, when the gesture is performed, do not give an unpleasant feeling to the person outside the housing. can do.
According to (3), the transition can be made by operating the operation unit or by uttering a wakeup word that activates the gesture recognition function.
According to (4), since the notification is made based on the predetermined gesture of the user, it is possible to prevent the person outside the housing from feeling uncomfortable when the predetermined gesture is performed. it can.
According to (5), it is possible to prevent being notified by another gesture.
According to (6), it is possible to prevent a person outside the housing from feeling uncomfortable.
According to (7), since the notification is made before the gesture is performed, it is possible to prevent the person outside the housing from feeling more uncomfortable.
According to (8), when a gesture is performed inside the housing and a person is detected outside the housing, the fact that the gesture is being performed is output to the outside of the housing. It can be prevented from giving an unpleasant feeling.
According to (9), when a gesture is performed inside the housing and a person is detected in the direction indicated by the gesture outside the housing, the fact that the gesture is being performed is output to the outside of the housing. It is possible to prevent the person in the room from feeling uncomfortable.
According to (10), when a gesture is performed inside the housing and a person is detected in the direction indicated by the gesture outside the housing, the gesture is output to the outside of the housing in the direction indicated by the gesture. Therefore, it is possible to prevent the person outside the housing in the direction indicated by the gesture from feeling uncomfortable.
According to (11), it is possible to control the output of the notification information according to the gesture that is taboo by the country or region.
According to (12), since the notification that the notification information is output in the housing is notified, the gesture can be performed without hesitation to a person.
According to (13), when the housing is moving, it is possible to switch whether to notify the notification information or not according to the moving speed of the housing.
According to (14), since the notification information is displayed on the image display device for notification, it is possible to notify a person outside the housing that the gesture is being performed inside the housing.

実施形態に係るジェスチャシステムの概要を示す図である。It is a figure which shows the outline of the gesture system which concerns on embodiment. 実施形態に係るジェスチャ検出装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the gesture detection apparatus which concerns on embodiment. 実施形態に係るジェスチャモデル記憶部が記憶するモデルの例を示す図である。It is a figure which shows the example of the model which the gesture model storage part which concerns on embodiment store. 実施形態に係る報知部に報知される報知情報の例を示す図である。It is a figure which shows the example of the notification information which is notified to the notification part which concerns on embodiment. 実施形態に係る報知部が表示装置の例を示す図である。It is a figure which shows the example of the display device in the notification part which concerns on embodiment. 実施形態に係るジェスチャと報知情報の表示可否と表示位置の関係例を示す図である。It is a figure which shows the relationship example of the display possibility and the display position of the gesture and the notification information which concerns on embodiment. 実施形態に係るジェスチャ検出装置の処理のフローチャートである。It is a flowchart of the process of the gesture detection apparatus which concerns on embodiment.

以下、図面を参照し、本発明のジェスチャ検出装置、ジェスチャ検出方法、およびプログラムの実施形態について説明する。 Hereinafter, the gesture detection device, the gesture detection method, and the embodiment of the program of the present invention will be described with reference to the drawings.

［ジェスチャシステム１の概要］
まず、ジェスチャシステム１の概要を説明する。なお、以下の例では、ジェスチャ検出装置を車両で用いる例を説明するが、これに限らない、ジェスチャ検出装置が用いられる筐体は、車両に限らない。筐体は、例えば窓の外を人が通る部屋等であってもよい。 [Overview of Gesture System 1]
First, the outline of the gesture system 1 will be described. In the following example, an example in which the gesture detection device is used in a vehicle will be described, but the housing in which the gesture detection device is used is not limited to the vehicle. The housing may be, for example, a room in which a person passes outside the window.

図１は、本実施形態に係るジェスチャシステム１の概要を示す図である。図１に示すように、筐体１２に、ジェスチャ検出装置１１と報知部１３が取り付けられている。符号ｈｕｉは乗員であり、符号ｈｕｏは車外の人である。図１に示すように、車両内の乗員ｈｕｉが、指さし確認やジェスチャによる車両内の機器の操作を行った場合、人ｈｕｏは自分が指さされたように見え不快に感じる場合もある。また、国や地域、宗教等によっては、タブーとされているジェスチャ等もあり、そのようなジェスチャを行った場合は、人ｈｕｏとのトラブルになる場合もあり得る。このため、本実施形態では、車両内でジェスチャが行われた際、このようなトラブルを防ぐために、ジェスチャ検出装置１１が車両内でジェスチャが行われていることを人ｈｕｏに報知する。 FIG. 1 is a diagram showing an outline of the gesture system 1 according to the present embodiment. As shown in FIG. 1, a gesture detection device 11 and a notification unit 13 are attached to the housing 12. The code hui is the occupant and the code huo is the person outside the vehicle. As shown in FIG. 1, when the occupant hui in the vehicle performs pointing confirmation or operating the equipment in the vehicle by a gesture, the person huo may look uncomfortable as if he / she was pointed at. In addition, depending on the country, region, religion, etc., there are gestures that are taboo, and if such gestures are performed, there may be trouble with human huo. Therefore, in the present embodiment, when a gesture is performed in the vehicle, the gesture detection device 11 notifies the person huo that the gesture is performed in the vehicle in order to prevent such a trouble.

ジェスチャ検出装置１１は、車両内で所定のジェスチャが行われたことを認識し、所定のジェスチャが認識された際に人ｈｕｏを検出する。なお、所定のジェスチャとは、例えば国や地域、宗教等によってタブーと見なされている動作や人を不快にさせる動作等である。ジェスチャ検出装置１１は、車両外に人が検出された場合、車両内で行われるジェスチャを人ｈｕｏに報知する。また、ジェスチャ検出装置１１は、車両外に人が検出された場合、ジェスチャが行われていることを人ｈｕｏに報知していることを示す情報または車両外の人に不快に思われるジェスチャであることを示す情報を、車両内に表示させる。なお、ジェスチャ検出装置１１は、報知を意図したジェスチャを検出したことにより報知部１３から報知させるのではなく、タブーと見なされている動作や人を不快にさせる動作を検出した際に報知させる。すなわち、所定のジェスチャは、報知の指示以外のジャスチャであり、車両外の人にとって不快なジャスチャである。 The gesture detection device 11 recognizes that a predetermined gesture has been performed in the vehicle, and detects a human huo when the predetermined gesture is recognized. The predetermined gesture is, for example, an action that is considered taboo by a country, region, religion, or the like, or an action that makes a person uncomfortable. When a person is detected outside the vehicle, the gesture detection device 11 notifies the person huo of the gesture performed inside the vehicle. Further, the gesture detection device 11 is information indicating that when a person is detected outside the vehicle, the person huo is notified that the gesture is being performed, or a gesture that seems unpleasant to the person outside the vehicle. Information indicating that is displayed in the vehicle. The gesture detection device 11 does not notify the notification unit 13 when it detects a gesture intended to be notified, but notifies it when it detects an operation considered to be taboo or an operation that makes a person uncomfortable. That is, the predetermined gesture is a gesture other than the instruction of the notification, which is an unpleasant gesture for a person outside the vehicle.

筐体１２は、例えば車両である。筐体１２は、ジェスチャ検出装置１１と報知部１３に加え、不図示の車両制御部、駆動部、車輪、電源装置、音響機器、空調機器、通信機器、フロントガラス、サイドガラス、リアガラス等を備える。なお、筐体１２内の機器（音響機器、空調機器、通信機器、ターンシグナル装置、ヘッドランプ装置、ワイパー装置等）は、ジェスチャによって操作されるようにしてもよい。このジェスチャによる筐体１２内の機器の操作は、例えば車両制御部が行う。 The housing 12 is, for example, a vehicle. In addition to the gesture detection device 11 and the notification unit 13, the housing 12 includes a vehicle control unit, a drive unit, wheels, a power supply device, an audio device, an air conditioner, a communication device, a windshield, a side glass, a rear glass, and the like (not shown). The equipment (audio equipment, air conditioner equipment, communication equipment, turn signal device, headlamp device, wiper device, etc.) in the housing 12 may be operated by gestures. For example, the vehicle control unit operates the device in the housing 12 by this gesture.

報知部１３は、例えばフロントガラス２１に取り付けられている表示装置である。報知部１３は、ジェスチャ検出装置１１が出力する報知情報を報知する。なお、報知部１３は、スピーカなどの音声出力装置であってもよい。報知情報は、例えば画像情報である。なお、報知情報には、車両内でジェスチャが行われていることを示す情報が含まれている。または、報知情報には、行われている（または行われた）ジェスチャが、その国や地域でタブーなものであることを示す情報が含まれている。 The notification unit 13 is, for example, a display device attached to the windshield 21. The notification unit 13 notifies the notification information output by the gesture detection device 11. The notification unit 13 may be an audio output device such as a speaker. The broadcast information is, for example, image information. The notification information includes information indicating that a gesture is being performed in the vehicle. Alternatively, the broadcast information includes information indicating that the gesture being performed (or performed) is taboo in that country or region.

［ジェスチャ検出装置１１の構成例］
ジェスチャ検出装置１１の構成例を説明する。図２は、本実施形態に係るジェスチャ検出装置１１の構成例を示すブロック図である。図２に示すように、ジェスチャ検出装置１１は、ジェスチャ認識部１１１、人検出部１１２、記憶部１１３、情報出力部１１４、および取得部１１５を備える。記憶部１１３は、ジェスチャモデル記憶部１１３１、人モデル記憶部１１３２、および報知情報記憶部１１３３を備える。ジェスチャ検出装置１１は、報知部１３および表示部１４に接続されている。なお、ジェスチャ検出装置１１は、報知部１３および表示部１４を備えていてもよい。また、ジェスチャ検出装置１１には、操作部１５が接続されていてもよい。 [Configuration example of gesture detection device 11]
A configuration example of the gesture detection device 11 will be described. FIG. 2 is a block diagram showing a configuration example of the gesture detection device 11 according to the present embodiment. As shown in FIG. 2, the gesture detection device 11 includes a gesture recognition unit 111, a person detection unit 112, a storage unit 113, an information output unit 114, and an acquisition unit 115. The storage unit 113 includes a gesture model storage unit 1131, a human model storage unit 1132, and a broadcast information storage unit 1133. The gesture detection device 11 is connected to the notification unit 13 and the display unit 14. The gesture detection device 11 may include a notification unit 13 and a display unit 14. Further, the operation unit 15 may be connected to the gesture detection device 11.

［ジェスチャ検出装置１１の機能］
ジェスチャ認識部１１１は、ジェスチャモデル記憶部１１３１を参照して乗員の所定のジェスチャを認識する。ジェスチャ認識部１１１は、例えば撮影部と画像取得部と画像処理部等を備える。なお、撮影部が備える撮影装置は１つであってもよく、複数であってもよい。ジェスチャ認識部１１１は、撮影された画像に対して所定の画像処理（例えば二値化処理、エッジ検出処理、特徴量抽出処理、クラスタリング処理等）を行う。ジェスチャ認識部１１１は、画像処理された画像とジェスチャモデル記憶部１１３１が記憶するモデル画像を比較して、例えばパターンマッチングの手法によって所定のジェスチャを認識する。ジェスチャ認識部１１１は、認識した認識結果を情報出力部１１４に出力する。また、ジェスチャ認識部１１１は、画像処理した結果に基づいて、ジェスチャが示す方向を推定し、推定した方向を示す情報を人検出部１１２に出力する。なお、ジェスチャが示す方向とは、例えば人差し指が指し示す方向である。なお、ジェスチャ認識部１１１は、例えば光を用いた検出器によって乗員の所定のジェスチャを認識するようにしてもよい。なお、乗員は、ジェスチャを行う前に、操作部１５を操作して、ジェスチャを開始することを設定するようにしてもよい。この場合、ジェスチャ認識部１１１は、操作部１５が出力する操作結果に基づいて、ジェスチャ入力を受け付ける設定にするようにしてもよい。また、操作部１５は、音声を認識して操作を受け付けるようにしてもよい。操作部１５は、例えばジェスチャ入力機能をオン状態にするためのウェイクアップワードが発話されることに基づいて、ジェスチャ入力を受け付けるようにしてもよい。この場合、情報出力部１１４は、ジェスチャ認識部１１１が、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態に遷移したことに基づいて、報知するようにしてもよい。また、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態への遷移は、操作部１５に対する操作されたことやジェスチャ認識機能を起動させるウェイクアップワードが発話されたことなどにより遷移されるようにしてもよい。 [Function of gesture detection device 11]
The gesture recognition unit 111 recognizes a predetermined gesture of the occupant with reference to the gesture model storage unit 1131. The gesture recognition unit 111 includes, for example, a photographing unit, an image acquisition unit, an image processing unit, and the like. It should be noted that the imaging device included in the imaging unit may be one or a plurality of imaging devices. The gesture recognition unit 111 performs predetermined image processing (for example, binarization processing, edge detection processing, feature amount extraction processing, clustering processing, etc.) on the captured image. The gesture recognition unit 111 compares the image processed image with the model image stored in the gesture model storage unit 1131, and recognizes a predetermined gesture by, for example, a pattern matching method. The gesture recognition unit 111 outputs the recognized recognition result to the information output unit 114. Further, the gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of image processing, and outputs information indicating the estimated direction to the person detection unit 112. The direction indicated by the gesture is, for example, the direction indicated by the index finger. The gesture recognition unit 111 may recognize a predetermined gesture of the occupant by, for example, a detector using light. The occupant may operate the operation unit 15 to set to start the gesture before performing the gesture. In this case, the gesture recognition unit 111 may be set to accept the gesture input based on the operation result output by the operation unit 15. Further, the operation unit 15 may recognize the voice and accept the operation. The operation unit 15 may accept the gesture input based on, for example, the wake-up word for turning on the gesture input function is uttered. In this case, the information output unit 114 may notify the gesture recognition unit 111 based on the transition from the state in which the gesture recognition is not performed to the state in which the gesture recognition is performed. In addition, the transition from the state in which gesture recognition is not performed to the state in which gesture recognition is performed is such that the transition is made due to an operation on the operation unit 15 or a wake-up word for activating the gesture recognition function. You may do it.

人検出部１１２は、人モデル記憶部１１３２を参照してジェスチャ認識部１１１が出力する方向に人が存在しているか否かを検出する。人検出部１１２は、例えばレーザー等を利用したＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）装置である。人検出部１１２は、検出した検出結果を情報出力部１１４に出力する。なお、人検出部１１２は、例えば撮影部と画像取得部と画像処理部等を備え、撮影された画像に基づいて人を検出するようにしてもよい。 The human detection unit 112 refers to the human model storage unit 1132 and detects whether or not a person exists in the direction output by the gesture recognition unit 111. The human detection unit 112 is, for example, a LiDAR (Light Detection and Ranking) device using a laser or the like. The human detection unit 112 outputs the detected detection result to the information output unit 114. The person detection unit 112 may include, for example, a photographing unit, an image acquisition unit, an image processing unit, and the like, and detect a person based on the captured image.

記憶部１１３は、移動速度に対する閾値を記憶する。 The storage unit 113 stores a threshold value for the moving speed.

ジェスチャモデル記憶部１１３１は、ジェスチャを認識する際に用いられるモデルを記憶する。なお、モデルは、乗員がジェスチャを行った画像を元に生成してもよく、予め記憶していてもよい。なお、モデルは、例えば国や地域毎に記憶する。また、ジェスチャモデル記憶部１１３１は、ジェスチャ毎に、国（または地域）と、その国（または地域）の人が当該ジェスチャを不快に感じるか否かを関連付けて記憶する。 The gesture model storage unit 1131 stores the model used when recognizing the gesture. The model may be generated based on the image in which the occupant has made a gesture, or may be stored in advance. The model is stored for each country or region, for example. In addition, the gesture model storage unit 1131 stores each gesture in association with the country (or region) and whether or not a person in that country (or region) feels the gesture unpleasant.

人モデル記憶部１１３２は、車両外の人を検出する際に用いられるモデルを記憶する。人モデル記憶部１１３２は、例えば国や地域や宗教に特有の衣装やアクセサリーを検出できるモデルを記憶する。 The human model storage unit 1132 stores a model used when detecting a person outside the vehicle. The human model storage unit 1132 stores, for example, a model capable of detecting costumes and accessories peculiar to a country, region, or religion.

報知情報記憶部１１３３は、ジェスチャの示す方向に人が存在する際に報知する情報を記憶する。報知する情報は、例えばテキスト情報である。なお、報知情報記憶部１１３３は、報知する情報を国や地域や宗教毎に、国や地域や宗教に応じた言語やフレーズで記憶する。また、報知情報記憶部１１３３は、報知情報を報知している際に表示部１４に表示するテキスト情報を記憶する。 The notification information storage unit 1133 stores information to be notified when a person is present in the direction indicated by the gesture. The information to be notified is, for example, text information. The notification information storage unit 1133 stores the information to be notified for each country, region, or religion in a language or phrase corresponding to the country, region, or religion. Further, the notification information storage unit 1133 stores the text information to be displayed on the display unit 14 when the notification information is being notified.

情報出力部１１４は、所定のジェスチャが認識された際、ジェスチャの示す方向に人が存在する際に報知する情報を、報知情報記憶部１１３３から読み出す。情報出力部１１４は、読み出した情報を報知情報に変換し、変換した報知情報を報知部１３に出力することで車両外に報知する。また、情報出力部１１４は、報知情報を報知している際に表示部１４に表示するテキスト情報を報知情報記憶部１１３３から読み出す。情報出力部１１４は、読み出した情報を画像情報に変換し、変換した画像情報を表示部１４に出力することで車両内に表示させる。なお、画像情報には、報知情報を報知していることを示す情報が含まれている。なお、情報出力部１１４は、取得部１１５が取得した位置情報に基づいて、車両が走行している国や地域を取得するようにしてもよい。また、情報出力部１１４は、取得部１１５が取得した車両の移動速度が閾値以上の場合に報知情報を報知させ、車両の移動速度が閾値未満の場合に報知情報を報知させないようにしてもよい。すなわち、本実施形態によれば、移動速度に応じて報知情報の報知を行うか否かを切り替えることができる。なお、情報出力部１１４は、車両が停車している場合に報知情報を報知させ、車両が走行している場合に報知情報を報知させないようにしてもよい。 When a predetermined gesture is recognized, the information output unit 114 reads out information to be notified when a person is present in the direction indicated by the gesture from the notification information storage unit 1133. The information output unit 114 converts the read information into notification information, and outputs the converted notification information to the notification unit 13 to notify the outside of the vehicle. Further, the information output unit 114 reads out the text information to be displayed on the display unit 14 when the notification information is being notified from the notification information storage unit 1133. The information output unit 114 converts the read information into image information, and outputs the converted image information to the display unit 14 to display the information in the vehicle. The image information includes information indicating that the broadcast information is being broadcast. The information output unit 114 may acquire the country or region in which the vehicle is traveling based on the position information acquired by the acquisition unit 115. Further, the information output unit 114 may notify the notification information when the movement speed of the vehicle acquired by the acquisition unit 115 is equal to or higher than the threshold value, and may not notify the notification information when the movement speed of the vehicle is less than the threshold value. .. That is, according to the present embodiment, it is possible to switch whether or not to notify the notification information according to the moving speed. The information output unit 114 may notify the notification information when the vehicle is stopped, and may not notify the notification information when the vehicle is traveling.

取得部１１５は、筐体１２が車両の場合、車両の移動速度を取得し、取得した移動速度を示す情報を情報出力部１１４に出力する。取得部１１５は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ；全地球測位システム）の受信装置を備え、受信装置が受信した情報に基づいて車両が移動している位置（緯度経度）情報を取得し、取得した位置情報を情報出力部１１４に出力する。 When the housing 12 is a vehicle, the acquisition unit 115 acquires the moving speed of the vehicle and outputs information indicating the acquired moving speed to the information output unit 114. The acquisition unit 115 is provided with, for example, a GPS (Global Positioning System) receiver, and acquires and acquires position (latitude / longitude) information on which the vehicle is moving based on the information received by the receiver. The position information is output to the information output unit 114.

表示部１４は、例えば液晶表示装置、または有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）表示装置等である。表示部１４は、情報出力部１１４が出力する画像情報を表示する。 The display unit 14 is, for example, a liquid crystal display device, an organic EL (Electroluminescence) display device, or the like. The display unit 14 displays the image information output by the information output unit 114.

操作部１５は、例えば表示部１４上に設けられているタッチパネルセンサである。操作部１５は、利用者が操作した操作結果をジェスチャ認識部１１１に出力する。なお、操作部１５は、音声入力部と音声認識部とによって構成されていてもよい。 The operation unit 15 is, for example, a touch panel sensor provided on the display unit 14. The operation unit 15 outputs the operation result operated by the user to the gesture recognition unit 111. The operation unit 15 may be composed of a voice input unit and a voice recognition unit.

なお、ジェスチャ検出装置１１の構成要素は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのハードウェア（回路部；ｃｉｒｃｕｉｔｒｙを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。 The component of the gesture detection device 11 is realized by, for example, a hardware processor such as a CPU (Central Processing Unit) executing a program (software). Some or all of these components are LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Circuit), GPU (Graphics Circuit), etc. It may be realized by (including a circuit), or it may be realized by the cooperation of software and hardware. The program may be stored in advance in a storage device (a storage device including a non-transient storage medium) such as an HDD (Hard Disk Drive) or a flash memory, or a removable storage such as a DVD or a CD-ROM. It is stored in a medium (non-transient storage medium) and may be installed by mounting the storage medium in a drive device.

［ジェスチャモデルの例］
次に、ジェスチャモデル記憶部１１３１が記憶するモデルの例を説明する。図３は、本実施形態に係るジェスチャモデル記憶部１１３１が記憶するモデルの例を示す図である。図３に示すように、ジェスチャモデル記憶部１１３１は、ジェスチャ毎に、国（または地域、文化圏）と、その国（または地域、文化圏）の人が当該ジェスチャを不快に感じるか否かを関連付けて記憶する。ジェスチャモデル記憶部１１３１は、例えば第１のジェスチャに、第１の国と第２の国において当該ジェスチャを不快に感じないことを示す情報（ＯＫ）と、第３の国において当該ジェスチャを不快に感じることを示す情報（ＮＧ）とを関連付けて記憶する。なお、所定の国や地域内とは、少なくとも１つのジェスチャについてＮＧが付されている国や地域（文化圏）である。このため、情報出力部１１４は、どのジェスチャに対してもＮＧがついていない（すべてＯＫ）の国（文化圏）で使用されている場合、報知を実行しなくてもよい。 [Example of gesture model]
Next, an example of the model stored in the gesture model storage unit 1131 will be described. FIG. 3 is a diagram showing an example of a model stored in the gesture model storage unit 1131 according to the present embodiment. As shown in FIG. 3, the gesture model storage unit 1131 determines, for each gesture, whether or not a country (or region, cultural area) and a person in that country (or region, cultural area) feel uncomfortable with the gesture. Associate and memorize. The gesture model storage unit 1131, for example, informs the first gesture that the gesture is not unpleasant in the first country and the second country (OK), and makes the gesture unpleasant in the third country. It is stored in association with information (NG) indicating that it is felt. A predetermined country or region is a country or region (cultural area) in which NG is attached to at least one gesture. Therefore, the information output unit 114 does not have to execute the notification when it is used in a country (cultural area) where no NG is attached to any gesture (all are OK).

［報知部１３に報知される報知情報の例］
次に、報知部１３に報知される報知情報の例を説明する。図４は、本実施形態に係る報知部１３に報知される報知情報の例を示す図である。図４において、符号ｇ１１は報知情報を表し、符号ｇ１２はジェスチャの例として人差し指による指さしを表し、符号ｇ１３は表示部１４に表示される画像情報を表している。なお、符号ｇ１１に示す例は、報知情報が画像情報の例であり、車両内から見た画像例である。また、符号ｇ１１に示す例は、ジェスチャが示す方向がフロントガラスの前方下部の例である。なお、図４に示す例は、乗員が行ったジェスチャが、その国では不快に思われる場合の動作例を示している。 [Example of notification information notified to the notification unit 13]
Next, an example of the notification information notified to the notification unit 13 will be described. FIG. 4 is a diagram showing an example of notification information notified to the notification unit 13 according to the present embodiment. In FIG. 4, reference numeral g11 represents notification information, reference numeral g12 represents pointing by an index finger as an example of a gesture, and reference numeral g13 represents image information displayed on the display unit 14. In the example shown by the reference numeral g11, the broadcast information is an example of image information, and is an example of an image viewed from inside the vehicle. Further, in the example shown by the reference numeral g11, the direction indicated by the gesture is an example of the lower front part of the windshield. The example shown in FIG. 4 shows an operation example when the gesture performed by the occupant seems to be unpleasant in that country.

図４に示すように、ジェスチャ検出装置１１は、乗員がジェスチャを行った際、且つそのジェスチャが示す方向（符号ｇ１４）に人ｈｕｏが存在する場合、その人ｈｕｏに対して報知情報ｇ１１を報知する。この際、報知情報が表示される位置は、ジェスチャが指し示す方向に対応する報知部１３上の位置である。図５を用いて説明するように、報知部１３は、複数に分割されていて個別に制御可能である。また、報知画像は、国や地域に応じた言語や内容である。また、報知画像は、人ｈｕｏから見て読める状態で報知する。このため、符号ｇ１１は、車両内から見た画像のため、テキスト画像が反転している。なお、図４に示した例では、フロントガラスに報知情報を報知する例を示したが、これに限らない。ジェスチャが示す方向が、例えば右方向の場合、ジェスチャ検出装置１１は、右方向のサイドガラスに設けられた報知部１３に報知情報を報知させる。また、ジェスチャ検出装置１１は、車両外に報知情報を報知している際、行ったジェスチャが相手に不快感を与えるジェスチャであることを示す情報を符号ｇ１３のように車両内に表示させる。なお、ジェスチャ検出装置１１は、報知情報を報知していることを示す情報を車両内に表示させるようにしてもよい。なお、車両内へは、表示に限らず、例えば音声による報知であってもよい。なお、ジェスチャ認識部１１１は、ジェスチャが示す方向を、撮影した画像を画像処理した結果に基づいて推定する。なお、報知情報は、周囲の明るさに応じて表示の輝度やコントラスト等の表示方法を変更するようにしてもよい。 As shown in FIG. 4, the gesture detection device 11 notifies the person huo of the notification information g11 when the occupant makes a gesture and when the person huo exists in the direction (reference numeral g14) indicated by the gesture. To do. At this time, the position where the notification information is displayed is a position on the notification unit 13 corresponding to the direction indicated by the gesture. As will be described with reference to FIG. 5, the notification unit 13 is divided into a plurality of units and can be individually controlled. In addition, the broadcast image is a language and content according to the country or region. In addition, the notification image is notified in a state in which it can be read by a human hoo. Therefore, since the code g11 is an image viewed from inside the vehicle, the text image is inverted. In the example shown in FIG. 4, an example of notifying the windshield of the notification information is shown, but the present invention is not limited to this. When the direction indicated by the gesture is, for example, the right direction, the gesture detection device 11 causes the notification unit 13 provided on the side glass in the right direction to notify the notification information. Further, when the gesture detection device 11 notifies the notification information to the outside of the vehicle, the gesture detection device 11 displays the information indicating that the gesture performed is a gesture that causes discomfort to the other party in the vehicle as shown by the reference numeral g13. The gesture detection device 11 may display information indicating that the notification information is being transmitted in the vehicle. It should be noted that the inside of the vehicle is not limited to the display, and may be, for example, a voice notification. The gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of image processing of the captured image. The notification information may be changed in display method such as display brightness and contrast according to the ambient brightness.

［報知部１３が表示装置の例］
次に、報知部１３が表示装置の例を説明する。図５は、本実施形態に係る報知部１３が表示装置の例を示す図である。図５は、報知部１３が車両（筐体１２）のフロントガラス２１の内側に取り付けられている例である。なお、報知部１３は、ジェスチャを行う乗員と、人（ｈｕｏ）との間に設けられていればよいので、例えばフロントガラスに内蔵されていてもよく、フロントガラスの外側に設けられていてもよい。図５に示す例では、報知部１３は、報知部１３−１〜１３−４を備え、高さ方向に４分割されている。情報出力部１１４は、ジェスチャが指し示す方向に人が検出された場合、ジェスチャが指し示す方向に対応する報知部１３−１〜１３−４のうちの少なくとも１つに報知情報を表示させる。なお、報知部１３は、テキストが表示される方向である横方向にも分割されていてもよい。 [Example of display device in which the notification unit 13 is displayed]
Next, the notification unit 13 will explain an example of the display device. FIG. 5 is a diagram showing an example of a display device in which the notification unit 13 according to this embodiment shows an example of a display device. FIG. 5 shows an example in which the notification unit 13 is attached to the inside of the windshield 21 of the vehicle (housing 12). Since the notification unit 13 may be provided between the occupant performing the gesture and the person (huo), for example, it may be built in the windshield or may be provided outside the windshield. Good. In the example shown in FIG. 5, the notification unit 13 includes notification units 13-1 to 13-4, and is divided into four in the height direction. When a person is detected in the direction pointed by the gesture, the information output unit 114 causes at least one of the notification units 13-1 to 13-4 corresponding to the direction pointed by the gesture to display the notification information. The notification unit 13 may also be divided in the horizontal direction, which is the direction in which the text is displayed.

［ジェスチャと報知情報の表示可否と表示位置の関係例］
次に、ジェスチャと報知情報の表示可否と表示位置の関係例を説明する。図６は、本実施形態に係るジェスチャと報知情報の表示可否と表示位置の関係例を示す図である。符号ｇ１０１が示す図は、例えば時刻ｔ１において乗員が第１のジェスチャを行った際の報知情報の表示可否と表示位置の関係例を説明するための図である。符号１０３が示す図は、例えば時刻ｔ２において乗員が第２のジェスチャを行った際の報知情報の表示可否と表示位置の関係例を説明するための図である。 [Example of relationship between gesture and display availability of notification information and display position]
Next, an example of the relationship between the displayability of the gesture and the notification information and the display position will be described. FIG. 6 is a diagram showing an example of the relationship between the display availability and the display position of the gesture and the notification information according to the present embodiment. The figure indicated by reference numeral g101 is a diagram for explaining an example of the relationship between display availability and display position of the notification information when the occupant performs the first gesture, for example, at time t1. The figure indicated by reference numeral 103 is a diagram for explaining an example of the relationship between display availability and display position of the notification information when the occupant performs the second gesture, for example, at time t2.

符号ｇ１０１に示す例において、ジェスチャ検出装置１１は、第１のジェスチャが相手に不快感を与えるジェスチャであると判断し、当該ジェスチャの示す方向に人ｈｕｏ１が存在していると判断する。このため、ジェスチャ検出装置１１は、ジェスチャの示す方向に対応する報知部１３の位置に報知情報（ｇ１１）を報知させる。なお、ジェスチャ検出装置１１は、ジェスチャの示す方向に人ｈｕｏ２が存在していない場合であっても報知してもよく、報知する場合、ジェスチャの示す方向に対応する位置の領域を少なくとも含む領域に報知させるようにしてもよい。 In the example shown by reference numeral g101, the gesture detection device 11 determines that the first gesture is a gesture that causes discomfort to the other party, and determines that the person huo1 exists in the direction indicated by the gesture. Therefore, the gesture detection device 11 notifies the notification information (g11) to the position of the notification unit 13 corresponding to the direction indicated by the gesture. The gesture detection device 11 may notify even when the person huo2 does not exist in the direction indicated by the gesture, and when notifying, the gesture detection device 11 includes at least a region at a position corresponding to the direction indicated by the gesture. It may be notified.

符号ｇ１０３に示す例において、ジェスチャ検出装置１１は、第２のジェスチャが相手に不快感を与えないジェスチャであると判断し、当該ジェスチャの示す方向に人ｈｕｏ２が存在していると判断する。このため、ジェスチャ検出装置１１は、ジェスチャの示す方向に人ｈｕｏ２が存在していても、報知情報を報知しない。 In the example shown by reference numeral g103, the gesture detection device 11 determines that the second gesture is a gesture that does not cause discomfort to the other party, and determines that the person huo2 exists in the direction indicated by the gesture. Therefore, the gesture detection device 11 does not notify the notification information even if the person huo2 is present in the direction indicated by the gesture.

図６に示したように、本実施形態では、ジェスチャの示す方向に対応する報知部１３の位置に報知情報を報知させる。また、本実施形態では、ジェスチャと、ジェスチャが行われた国や地域に基づいて、報知情報の報知可否を判断する。なお、上述したように、ジェスチャ検出装置１１が車両に搭載されている場合、車両の移動速度が閾値以上の場合、仮に車両外に人がいても、車両内で行われているジェスチャが車両外の人から見えないと判断して、ジェスチャの形や動作にかかわらず、そして車両外の人の有無にかかわらず報知情報を報知しないようにしてもよい。 As shown in FIG. 6, in the present embodiment, the notification information is notified to the position of the notification unit 13 corresponding to the direction indicated by the gesture. Further, in the present embodiment, it is determined whether or not the notification information can be notified based on the gesture and the country or region where the gesture was performed. As described above, when the gesture detection device 11 is mounted on the vehicle, when the moving speed of the vehicle is equal to or higher than the threshold value, even if there is a person outside the vehicle, the gesture performed inside the vehicle is outside the vehicle. It may be determined that the person cannot see the information, regardless of the shape or movement of the gesture, and regardless of the presence or absence of a person outside the vehicle.

また、情報出力部１１４は、車両が所定の国や地域内で使用され、ジェスチャ認識部１１１がジェスチャの認識を行う状態にあるときに、報知するようにしてもよい。また、情報出力部１１４は、ジェスチャ認識部１１１が、ジェスチャの認識を行わない状態からジェスチャの認識を行う状態に遷移したことに基づいて、報知するようにしてもよい。また、情報出力部１１４は、ジェスチャ認識部１１１が、利用者の所定のジェスチャを認識したことに基づいて、報知するようにしてもよい。 Further, the information output unit 114 may notify the vehicle when the vehicle is used in a predetermined country or region and the gesture recognition unit 111 is in a state of recognizing the gesture. Further, the information output unit 114 may notify the gesture recognition unit 111 based on the transition from the state in which the gesture recognition is not performed to the state in which the gesture recognition is performed. Further, the information output unit 114 may make a notification based on the gesture recognition unit 111 recognizing a predetermined gesture of the user.

［ジェスチャ検出装置１１の処理手順例］
次に、ジェスチャ検出装置１１の処理手順例を説明する。図７は、本実施形態に係るジェスチャ検出装置１１の処理のフローチャートである。 [Example of processing procedure of gesture detection device 11]
Next, an example of the processing procedure of the gesture detection device 11 will be described. FIG. 7 is a flowchart of processing of the gesture detection device 11 according to the present embodiment.

取得部１１５は、車両の移動速度を取得する。取得部１１５は、ＧＰＳの受信装置が受信した情報に基づいて車両が移動している位置（緯度経度）情報を取得する（ステップＳ１）。 The acquisition unit 115 acquires the moving speed of the vehicle. The acquisition unit 115 acquires the position (latitude / longitude) information in which the vehicle is moving based on the information received by the GPS receiving device (step S1).

ジェスチャ認識部１１１は、例えば所定の時間間隔毎に乗員を含む画像を撮影する。次に、ジェスチャ認識部１１１は、撮影された画像に対して画像処理を行い、画像処理された画像とジェスチャモデル記憶部１１３１を比較して乗員の所定のジェスチャを行っているか否かを判別する（ステップＳ２）。 The gesture recognition unit 111 takes, for example, an image including an occupant at predetermined time intervals. Next, the gesture recognition unit 111 performs image processing on the captured image, compares the image-processed image with the gesture model storage unit 1131, and determines whether or not the occupant is performing a predetermined gesture. (Step S2).

ジェスチャ認識部１１１は、乗員が所定のジェスチャを行っていると判別した場合（ステップＳ２；ＹＥＳ）、撮影された画像に対する画像処理の結果に基づいてジェスチャが示す方向を推定する（ステップＳ３）。ジェスチャ認識部１１１は、乗員が所定のジェスチャを行っていないと判別した場合（ステップＳ２；ＮＯ）、ステップＳ１の処理に戻す。 When the gesture recognition unit 111 determines that the occupant is performing a predetermined gesture (step S2; YES), the gesture recognition unit 111 estimates the direction indicated by the gesture based on the result of image processing on the captured image (step S3). When the gesture recognition unit 111 determines that the occupant has not performed a predetermined gesture (step S2; NO), the gesture recognition unit 111 returns to the process of step S1.

乗員が所定のジェスチャを行っている場合、人検出部１１２は、人モデル記憶部１１３２を参照してジェスチャ認識部１１１が出力する方向に人が存在しているか否かを判別する（ステップＳ４）。人検出部１１２は、ジェスチャ認識部１１１が出力する方向に人が存在していないと判別した場合（ステップＳ４；ＮＯ）、ステップＳ１０の処理に進める。 When the occupant is performing a predetermined gesture, the person detection unit 112 refers to the person model storage unit 1132 and determines whether or not there is a person in the direction output by the gesture recognition unit 111 (step S4). .. When the person detection unit 112 determines that no person exists in the direction output by the gesture recognition unit 111 (step S4; NO), the person detection unit 112 proceeds to the process of step S10.

ジェスチャ認識部１１１が出力する方向に人が存在していると判別された場合（ステップＳ４；ＹＥＳ）、情報出力部１１４は、取得部１１５が取得した移動速度が閾値以上であるか否かを判別する（ステップＳ５）。情報出力部１１４は、移動速度が閾値以上であると判別した場合（ステップＳ５；ＹＥＳ）、ステップＳ１の処理に戻す。 When it is determined that a person exists in the direction of output by the gesture recognition unit 111 (step S4; YES), the information output unit 114 determines whether or not the movement speed acquired by the acquisition unit 115 is equal to or higher than the threshold value. Determine (step S5). When the information output unit 114 determines that the moving speed is equal to or higher than the threshold value (step S5; YES), the information output unit 114 returns to the process of step S1.

情報出力部１１４は、移動速度が閾値未満であると判別した場合（ステップＳ５；ＹＥＳ）、報知情報記憶部１１３３から報知するテキスト情報を取得して、取得したテキスト情報に基づいて報知情報を生成する（ステップＳ６）。次に、情報出力部１１４は、生成した報知情報を報知部１３に出力する。次に、情報出力部１１４は、報知情報を報知中であることを示す画像情報を生成し、生成した画像情報を表示部１４に出力する（ステップＳ７）。 When the information output unit 114 determines that the moving speed is less than the threshold value (step S5; YES), the information output unit 114 acquires the text information to be notified from the notification information storage unit 1133, and generates the notification information based on the acquired text information. (Step S6). Next, the information output unit 114 outputs the generated notification information to the notification unit 13. Next, the information output unit 114 generates image information indicating that the broadcast information is being broadcast, and outputs the generated image information to the display unit 14 (step S7).

情報出力部１１４は、報知情報を、報知部１３によって車両外に報知させる（ステップＳ８）。次に、情報出力部１１４は、画像情報を、表示部１４によって車両内に表示させる（ステップＳ９）。 The information output unit 114 causes the notification unit 13 to notify the notification information to the outside of the vehicle (step S8). Next, the information output unit 114 causes the display unit 14 to display the image information in the vehicle (step S9).

情報出力部１１４は、ジェスチャ認識部１１１が出力する方向に人が存在していないと判別した場合（ステップＳ４；ＮＯ）、すなわちジェスチャが検出されても、ジェスチャが示す方向に人がいない場合、報知情報を生成する（ステップＳ１０）。次に、情報出力部１１４は、生成した報知情報を報知部１３に出力する。または、情報出力部１１４は、生成した報知情報を表示部１４に出力する（ステップＳ１１）。 When the information output unit 114 determines that there is no person in the direction output by the gesture recognition unit 111 (step S4; NO), that is, when the gesture is detected but there is no person in the direction indicated by the gesture. The broadcast information is generated (step S10). Next, the information output unit 114 outputs the generated notification information to the notification unit 13. Alternatively, the information output unit 114 outputs the generated notification information to the display unit 14 (step S11).

情報出力部１１４は、報知情報を、報知部１３によって車両１内に報知させる（ステップＳ１２）。または、情報出力部１１４は、報知情報を、表示部１４によって車両１内に表示させる（ステップＳ１２）。なお、車両１内に報知または表示される報知情報は、例えば「この地域では、そのジェスチャがタブーであること」を示す情報である。 The information output unit 114 causes the notification unit 13 to notify the notification information in the vehicle 1 (step S12). Alternatively, the information output unit 114 causes the display unit 14 to display the notification information in the vehicle 1 (step S12). The notification information to be notified or displayed in the vehicle 1 is, for example, information indicating that "the gesture is taboo in this area".

なお、情報出力部１１４は、報知可能な方向全てに対して報知情報を報知させるようにしてもよい。また、情報出力部１１４は、人の有無を検出せずに、ジェスチャが認識された際に報知情報を報知させるようにしてもよい。この場合、情報出力部１１４は、車両外の人の有無や方向を検出せずに報知情報を報知させるようにしてもよい。また、情報出力部１１４は、移動速度にかかわらずに報知情報を報知させるようにしてもよい。また、報知情報を表示させる位置は、ジェスチャが示す方向に限らず、車両外の人から見える位置であってもよい。 The information output unit 114 may be made to notify the notification information in all the directions in which the notification can be performed. Further, the information output unit 114 may notify the notification information when the gesture is recognized without detecting the presence or absence of a person. In this case, the information output unit 114 may notify the notification information without detecting the presence or absence or direction of a person outside the vehicle. Further, the information output unit 114 may notify the notification information regardless of the moving speed. Further, the position where the notification information is displayed is not limited to the direction indicated by the gesture, and may be a position that can be seen by a person outside the vehicle.

以上のように、本実施形態では、車両内で指さし等のジェスチャを行った場合に、ジェスチャを行っていることを人に対して報知するようにした。
この構成によって、本実施形態によれば、車両内で指さし等のジェスチャを行った場合に、車両外の人とのトラブルを防ぐことができる。 As described above, in the present embodiment, when a gesture such as pointing is performed in the vehicle, the person is notified that the gesture is being performed.
With this configuration, according to the present embodiment, it is possible to prevent troubles with a person outside the vehicle when a gesture such as pointing inside the vehicle is performed.

また、本実施形態によれば、筐体内でジェスチャを行った場合かつ筐体外に人が検出された際に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外の人に対して不快な感じを与えないようにすることができる。
また、本実施形態によれば、筐体内でジェスチャを行った場合かつジェスチャが指し示す方向に筐体外に人が検出された際に、ジェスチャが行われていることを筐体外に出力するようにしたので、筐体外の人に対して不快な感じを与えないようにすることができる。 Further, according to the present embodiment, when a gesture is performed inside the housing and a person is detected outside the housing, the fact that the gesture is being performed is output to the outside of the housing. It is possible to prevent the person from feeling uncomfortable.
Further, according to the present embodiment, when a gesture is performed inside the housing and a person is detected outside the housing in the direction indicated by the gesture, the fact that the gesture is being performed is output to the outside of the housing. Therefore, it is possible to prevent the person outside the housing from feeling uncomfortable.

また、本実施形態によれば、筐体内でジェスチャを行った場合かつジェスチャが指し示す方向に筐体外に人が検出された際に、ジェスチャが行われていることをジェスチャが指し示す方向の筐体外に出力するようにしたので、ジェスチャが指し示す方向の筐体外の人に対して不快な感じを与えないようにすることができる。
また、本実施形態によれば、国や地域や例えば宗教等によってタブーとされているジェスチャに応じて報知情報の出力を制御することができる。
また、本実施形態によれば、筐体内に報知情報を出力していることを報知するようにしたので、乗員は、人に遠慮せずにジェスチャを行うことができる。 Further, according to the present embodiment, when a gesture is performed inside the housing and a person is detected outside the housing in the direction indicated by the gesture, the gesture is performed outside the housing in the direction indicated by the gesture. Since the output is made, it is possible not to give an unpleasant feeling to a person outside the housing in the direction indicated by the gesture.
Further, according to the present embodiment, it is possible to control the output of the notification information according to the gesture that is taboo by the country or region or, for example, religion.
Further, according to the present embodiment, since the notification that the notification information is output to the inside of the housing is notified, the occupant can make a gesture without hesitation.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.

１…ジェスチャシステム、
１２…筐体、
１１…ジェスチャ検出装置、
１３…報知部、
１１１…ジェスチャ認識部、
１１２…人検出部、
１１３…記憶部、
１１４…情報出力部、
１１３１…ジェスチャモデル記憶部、
１１３２…人モデル記憶部、
１１３３…報知情報記憶部 1 ... Gesture system,
12 ... Housing,
11 ... Gesture detector,
13 ... Notification unit,
111 ... Gesture recognition unit,
112 ... Human detector,
113 ... Memory unit,
114 ... Information output unit,
1131 ... Gesture model storage,
1132 ... Human model memory,
1133 ... Notification information storage unit

Claims

Gesture recognition unit that can recognize the gesture of the user in the housing,
When the gesture recognition unit is in a state of recognizing the gesture, an information output unit that outputs notification information indicating that the gesture is being performed inside the housing and outside the housing.
Gesture detector.

The information output unit outputs the notification information to the outside of the housing when the housing is used in a predetermined country or region and the gesture recognition unit is in a state of recognizing the gesture.
The gesture detection device according to claim 1.

The information output unit outputs the notification information to the outside of the housing based on the transition from the state in which the gesture recognition unit does not recognize the gesture to the state in which the gesture is recognized.
The gesture detection device according to claim 1 or 2.

The information output unit outputs the notification information to the outside of the housing based on the gesture recognition unit recognizing a predetermined gesture of the user.
The gesture detection device according to any one of claims 1 to 3.

The predetermined gesture is
This is a gesture other than the instruction to output information to the information output unit.
The gesture detection device according to claim 4.

The predetermined gesture is
An unpleasant gesture for people outside the enclosure,
The gesture detection device according to claim 4 or 5.

The information output unit
The notification information is output to the outside of the housing before the predetermined gesture is performed.
The gesture detection device according to any one of claims 4 to 6.

A person detection unit for detecting a person outside the housing is provided.
The information output unit
When the person is detected, the notification information is output to the outside of the housing.
The gesture detection device according to any one of claims 1 to 7.

The gesture recognition unit is
Estimate the direction pointed to by the gesture
The information output unit
When the person is detected in the direction indicated by the estimated gesture, the notification information is output to the outside of the housing.
The gesture detection device according to claim 8.

The information output unit
When the person is detected in the direction indicated by the estimated gesture, the notification information is output to a region outside the housing that includes at least a region in the direction indicated by the estimated gesture.
The gesture detection device according to claim 8.

The predetermined gesture is
Set for each country or region,
The gesture detection device according to any one of claims 4 to 7.

The information output unit
The fact that the notification information is being output to the outside of the housing is output to the inside of the housing.
The gesture detection device according to any one of claims 1 to 11.

It is provided with an acquisition unit for acquiring the moving speed of the housing.
The information output unit
The notification information is output when the acquired movement speed is equal to or higher than the threshold value, and the notification information is not output when the acquired movement speed is less than the threshold value.
The gesture detection device according to any one of claims 1 to 12.

The notification information is image information and is
An image display device for displaying the notification information is provided.
The information output unit
The notification information is displayed on the image display device to notify the notification.
The gesture detection device according to any one of claims 1 to 13.

Recognize the user's gesture in the housing and
When the gesture is being recognized, notification information indicating that the gesture is being performed inside the housing is output to the outside of the housing.
Gesture detection method.

On the computer of the gesture detector,
Recognize the user's gesture inside the housing
When the gesture is being recognized, notification information indicating that the gesture is being performed inside the housing is output to the outside of the housing.
program.