JP2021051680A - Emergency call device and method - Google Patents

Emergency call device and method Download PDF

Info

Publication number
JP2021051680A
JP2021051680A JP2019175656A JP2019175656A JP2021051680A JP 2021051680 A JP2021051680 A JP 2021051680A JP 2019175656 A JP2019175656 A JP 2019175656A JP 2019175656 A JP2019175656 A JP 2019175656A JP 2021051680 A JP2021051680 A JP 2021051680A
Authority
JP
Japan
Prior art keywords
emergency call
facial expression
unit
manual switch
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019175656A
Other languages
Japanese (ja)
Other versions
JP7296838B2 (en
Inventor
康伸 高市
Yasunobu Takaichi
康伸 高市
達也 西井
Tatsuya Nishii
達也 西井
山本　幸一
Koichi Yamamoto
幸一 山本
太郎 岡▲崎▼
Taro Okazaki
太郎 岡▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2019175656A priority Critical patent/JP7296838B2/en
Publication of JP2021051680A publication Critical patent/JP2021051680A/en
Application granted granted Critical
Publication of JP7296838B2 publication Critical patent/JP7296838B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an emergency call device and a method for reducing a false call to a communication device of a center of an emergency call system.SOLUTION: An image acquisition unit 14b acquires an image taken by a camera that is arranged in a vehicle interior of the vehicle and can take a picture of a person who can press a manual switch 12. A facial expression specifying unit 14d identifies a facial expression of a person in the image acquired by the image acquisition unit 14b. A call determination unit 14e determines whether or not to cancel an emergency call based on the identified facial expression.SELECTED DRAWING: Figure 2

Description

本発明は、緊急通報装置及び方法に関する。 The present invention relates to an emergency call device and method.

従来、事故などの際にセンタサーバに通報を行う緊急通報システムが知られている。緊急通報システムでは、センタサーバと通信を行うためにテレマティクスコントロールユニット（ＴＣＵ）を備えるものがある（例えば、特許文献１）。緊急通報システムには、センタサーバに手動で緊急通報を行うための手動スイッチを設けた車両に配置される場合がある。このような手動での緊急通報は、手動スイッチの押圧を検出することによって開始される。 Conventionally, an emergency call system that reports to a center server in the event of an accident has been known. Some emergency call systems include a telematics control unit (TCU) for communicating with the center server (for example, Patent Document 1). The emergency call system may be placed in a vehicle equipped with a manual switch for manually making an emergency call to the center server. Such a manual emergency call is initiated by detecting the pressing of a manual switch.

特開２０１５−１７６５６６号公報Japanese Unexamined Patent Publication No. 2015-176566

このような緊急通報システムでは、手動スイッチの押圧が子供のいたずら等によって行われた場合に誤通報が発生する。そのために、緊急通報システムのセンタサーバにおいて無駄な対応が増加するという不都合があった。 In such an emergency call system, an erroneous call occurs when the manual switch is pressed by a child's mischief or the like. Therefore, there is an inconvenience that unnecessary responses increase in the center server of the emergency call system.

本発明の目的は、緊急通報システムのセンタサーバへの緊急通報の誤通報を減少させる緊急通報装置及び方法を提供することである。 An object of the present invention is to provide an emergency call device and method for reducing false calls to the center server of an emergency call system.

本発明による緊急通報装置は、車両に配置され、押圧により手動で緊急通報を行うための手動スイッチを設けた緊急通報装置であって、車両の車室内に配置され、手動スイッチを押圧可能な人物を撮影可能なカメラにより撮影された画像を取得する画像取得部と、画像取得部によって取得された画像に写った人物の表情を特定する表情特定部と、特定した表情に基づいて、緊急通報を中止するか否かを判定する通報判定部と、を備えることを特徴とする。 The emergency call device according to the present invention is an emergency call device provided in a vehicle and provided with a manual switch for manually making an emergency call by pressing, and is a person who is placed in the vehicle interior of the vehicle and can press the manual switch. An image acquisition unit that acquires an image taken by a camera capable of taking a picture, a facial expression identification unit that identifies the facial expression of a person in the image acquired by the image acquisition unit, and an emergency call based on the identified facial expression. It is characterized by including a report determination unit for determining whether or not to cancel.

好適には、本発明による緊急通報装置は、手動スイッチの押圧を検出する押圧検出部をさらに備え、画像取得部は、手動スイッチの押圧を検出した時に画像を取得することを特徴とする。 Preferably, the emergency call device according to the present invention further includes a press detection unit that detects the press of the manual switch, and the image acquisition unit acquires an image when the press of the manual switch is detected.

好適には、本発明による緊急通報装置は、手動スイッチの押圧を検出する押圧検出部をさらに備え、表情特定部は、画像取得部によって取得された画像の内、手動スイッチの押圧を検出した時にカメラにより撮影された画像に写った人物の表情を特定することを特徴とする。 Preferably, the emergency notification device according to the present invention further includes a pressure detecting unit for detecting the pressing of the manual switch, and the facial expression specifying unit when the pressing of the manual switch is detected in the images acquired by the image acquisition unit. It is characterized by identifying the facial expression of a person in an image taken by a camera.

好適には、通報判定部は、特定した表情が笑顔である場合、緊急通報を中止すると判定することを特徴とする。 Preferably, the report determination unit is characterized in that it determines that the emergency call is stopped when the specified facial expression is a smile.

好適には、表情特定部は、取得した画像に写った人物の顔の向きを特定し、通報判定部は、特定した人物の顔の向きが手動スイッチを注視する向きでない場合、緊急通報を中止すると判定することを特徴とする。 Preferably, the facial expression identification unit identifies the orientation of the person's face in the acquired image, and the report determination unit cancels the emergency call if the orientation of the identified person's face is not the orientation to gaze at the manual switch. Then, it is characterized in that it is determined.

好適には、通報判定部は、押圧検出部が手動スイッチの押圧を検出した後、予め決定された時間間隔内に再度、押圧検出部が手動スイッチの押圧を検出した場合、緊急通報を中止しないと判定することを特徴とする。 Preferably, the report determination unit does not stop the emergency call when the press detection unit detects the press of the manual switch and then the press detection unit detects the press of the manual switch again within a predetermined time interval. It is characterized in that it is determined.

好適には、通報判定部は、緊急通報装置が搭載された車両が走行中である場合、緊急通報を中止すると判定することを特徴とする。 Preferably, the report determination unit is characterized in that it determines that the emergency call is stopped when the vehicle equipped with the emergency call device is running.

好適には、通報判定部は、表情特定部において、取得された画像に写る人物の表情を特定できなかった場合、緊急通報を中止しないと判定することを特徴とする。 Preferably, the report determination unit is characterized in that if the facial expression specifying unit cannot identify the facial expression of the person appearing in the acquired image, the report determination unit determines that the emergency call is not stopped.

本発明による緊急通報方法は、車両に配置され、押圧により手動で緊急通報を行うための手動スイッチを用いる、コンピュータによって行う緊急通報方法であって、車両の車室内に配置され、手動スイッチを押圧可能な人物を撮影可能なカメラにより撮影された画像を取得するステップと、取得された画像に写った人物の表情を特定するステップと、特定した表情に基づいて緊急通報を中止するか否かを判定するステップと、を備えることを特徴とする。 The emergency call method according to the present invention is an emergency call method performed by a computer, which is arranged in a vehicle and uses a manual switch for manually making an emergency call by pressing, and is arranged in the vehicle interior of the vehicle and presses the manual switch. A step to acquire an image taken by a camera capable of taking a picture of a possible person, a step to identify the facial expression of the person in the acquired image, and whether or not to stop the emergency call based on the identified facial expression. It is characterized by including a determination step.

本発明によれば、緊急通報システムのセンタサーバへの緊急通報の誤通報を減少させることができる。 According to the present invention, it is possible to reduce erroneous reports of emergency calls to the center server of the emergency call system.

本実施の形態における緊急通報装置を備える緊急通報システムの概要を示す図である。It is a figure which shows the outline of the emergency call system provided with the emergency call device in this embodiment. 本実施の形態における緊急通報装置の構成図の一例である。This is an example of a configuration diagram of an emergency call device according to this embodiment. 笑顔に特徴的な状態である表情要素を有する表情の例を示す図である。It is a figure which shows the example of the facial expression which has a facial expression element which is a state characteristic of a smile. 笑顔に特徴的でない表情要素を有する表情の例を示す図である。It is a figure which shows the example of the facial expression which has a facial expression element which is not characteristic of a smile. 本実施の形態における緊急通報装置と通信を行うセンタサーバの構成図の一例である。This is an example of a configuration diagram of a center server that communicates with the emergency call device according to the present embodiment. 図２に示す緊急通報装置の緊急通報処理の一例を示すフローチャートである。It is a flowchart which shows an example of the emergency call processing of the emergency call apparatus shown in FIG.

本発明による緊急通報装置及び方法を、図面を参照しながら詳細に説明する。図面中、同一構成要素には同一符号を付すものとする。
図１は、本実施の形態における緊急通報装置を備える緊急通報システムの概要を示す図である。図１に示す緊急通報システムは、車両１及びセンタサーバ２を備える。車両１及びセンタサーバ２は、通信ネットワーク３を介して通信を行う。 The emergency call device and method according to the present invention will be described in detail with reference to the drawings. In the drawings, the same components shall be designated by the same reference numerals.
FIG. 1 is a diagram showing an outline of an emergency call system including an emergency call device according to the present embodiment. The emergency call system shown in FIG. 1 includes a vehicle 1 and a center server 2. The vehicle 1 and the center server 2 communicate with each other via the communication network 3.

車両１は、ＴＣＵ１１と、手動スイッチ１２と、車内カメラ１３と、を備える。車内カメラ１３は、手動スイッチ１２を押圧可能な人物を撮影可能な車室内の所定の位置に配置される。ＴＣＵ１１は、手動スイッチ１２が押圧されたことを検出すると、手動通報処理を開始する（ステップＳ１）。この時、ＴＣＵ１１は、車内カメラ１３から画像を取得する（ステップＳ２）。取得した画像に写っている人物が特定の表情をしている場合、ＴＣＵ１１は、手動通報処理を中止する（ステップＳ３）。 The vehicle 1 includes a TCU 11, a manual switch 12, and an in-vehicle camera 13. The in-vehicle camera 13 is arranged at a predetermined position in the vehicle interior where a person who can press the manual switch 12 can be photographed. When the TCU 11 detects that the manual switch 12 has been pressed, the TCU 11 starts the manual notification process (step S1). At this time, the TCU 11 acquires an image from the in-vehicle camera 13 (step S2). When the person in the acquired image has a specific facial expression, the TCU 11 cancels the manual notification process (step S3).

図２は、本実施の形態における緊急通報装置の構成図の一例である。図２において、ＴＣＵ１１は、制御部１４及び通信部１５を備える。制御部１４は、手動スイッチ１２、車内カメラ１３、ディスプレイ１６及び位置取得部１７と接続される。 FIG. 2 is an example of a configuration diagram of the emergency call device according to the present embodiment. In FIG. 2, the TCU 11 includes a control unit 14 and a communication unit 15. The control unit 14 is connected to the manual switch 12, the in-vehicle camera 13, the display 16, and the position acquisition unit 17.

手動スイッチ１２は、車両１の乗員等がセンタサーバ２に手動で緊急通報を行うためのスイッチである。手動スイッチ１２は、車両１のダッシュボードに配置され、押圧されている間にオン信号（ハイ信号）を制御部１４に出力する。 The manual switch 12 is a switch for the occupant of the vehicle 1 or the like to manually make an emergency call to the center server 2. The manual switch 12 is arranged on the dashboard of the vehicle 1 and outputs an on signal (high signal) to the control unit 14 while being pressed.

車内カメラ１３は、レンズ及び撮像素子を備える。本実施の形態では、車内カメラ１３は、車両１の車室内に配置される。また、車内カメラ１３は、手動スイッチ１２を押圧可能な位置の人物を撮影できる位置に配置される。具体的には、車内カメラ１３は、車両１の前方に配置される。例えば、車内カメラ１３は、ダッシュボードなどに配置され、手動スイッチ１２を押圧可能な運転席、助手席、これらの二つの席の間の空間等を撮影できるように配置される。 The in-vehicle camera 13 includes a lens and an image sensor. In the present embodiment, the in-vehicle camera 13 is arranged in the vehicle interior of the vehicle 1. Further, the in-vehicle camera 13 is arranged at a position where a person at a position where the manual switch 12 can be pressed can be photographed. Specifically, the in-vehicle camera 13 is arranged in front of the vehicle 1. For example, the in-vehicle camera 13 is arranged on a dashboard or the like so that the driver's seat, the passenger seat, the space between these two seats, and the like on which the manual switch 12 can be pressed can be photographed.

車内カメラ１３は、撮影した画像に対して、輝度補正、コントラスト補正、圧縮等の画像処理を、車内カメラ１３又はＴＣＵ１１内に配置されたハードウェア回路（図示せず）によって行い、ＭＰＥＧ形式等の画像データとして制御部１４に出力する。 The in-vehicle camera 13 performs image processing such as brightness correction, contrast correction, and compression on the captured image by a hardware circuit (not shown) arranged in the in-vehicle camera 13 or TCU 11, and is in MPEG format or the like. It is output to the control unit 14 as image data.

ディスプレイ１６は、各種処理に応じて制御部１４によって出力された画像データに対応する画像を表示する。本実施の形態では、ディスプレイ１６は、緊急通報の動作についての情報を示す画像を表示する。緊急通報の動作についての情報は、例えば、「手動スイッチが押されたために緊急通報を行っています」等の文字情報である。 The display 16 displays an image corresponding to the image data output by the control unit 14 in response to various processes. In this embodiment, the display 16 displays an image showing information about the operation of the emergency call. The information about the operation of the emergency call is, for example, textual information such as "an emergency call is being made because the manual switch is pressed".

位置取得部１７は、ＧＰＳ(Global Positioning System)や、ＧＮＳＳ(Global Navigation Satellite System)などの衛星測位システム信号を用いて算出された時刻及び車両１の位置情報を取得する。位置取得部１７によって取得された時刻及び車両１の位置情報は、制御部１４に供給される。 The position acquisition unit 17 acquires the time calculated using satellite positioning system signals such as GPS (Global Positioning System) and GNSS (Global Navigation Satellite System) and the position information of the vehicle 1. The time acquired by the position acquisition unit 17 and the position information of the vehicle 1 are supplied to the control unit 14.

制御部１４は、マイクロコンピュータと、入出力ポート、インタフェース回路等の周辺回路と、を備える。マイクロコンピュータは、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)及びＲＯＭ(Read Only Memory)を備える。マイクロコンピュータは、コンピュータの一例である。 The control unit 14 includes a microcomputer and peripheral circuits such as input / output ports and interface circuits. The microcomputer includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory). A microprocessor is an example of a computer.

ＣＰＵは、緊急通報制御プログラムなどの各種制御プログラムを実行する。ＲＡＭは、位置取得部１７から取得した時刻及び車両１の位置情報、車内カメラ１３から取得した画像等を一時的に格納する。ＲＯＭは、各種制御プログラム、車両１を識別するための車両ＩＤ等を格納する。 The CPU executes various control programs such as an emergency call control program. The RAM temporarily stores the time acquired from the position acquisition unit 17, the position information of the vehicle 1, the image acquired from the in-vehicle camera 13, and the like. The ROM stores various control programs, a vehicle ID for identifying the vehicle 1, and the like.

本実施の形態では、制御部１４は、押圧検出部１４ａ、画像取得部１４ｂ、顔画像抽出部１４ｃ、表情特定部１４ｄ、通報判定部１４ｅ、通信制御部１４ｆ及び表示制御部１４ｇを備える。押圧検出部１４ａ、画像取得部１４ｂ、顔画像抽出部１４ｃ、表情特定部１４ｄ、通報判定部１４ｅ、通信制御部１４ｆ及び表示制御部１４ｇは、ＣＰＵによって実行されるプログラムによってソフトウェア的に構成される。マイクロコンピュータの専用回路により一部又は全てをハードウェア的に構成してもよい。 In the present embodiment, the control unit 14 includes a press detection unit 14a, an image acquisition unit 14b, a face image extraction unit 14c, a facial expression identification unit 14d, a notification determination unit 14e, a communication control unit 14f, and a display control unit 14g. The press detection unit 14a, the image acquisition unit 14b, the face image extraction unit 14c, the facial expression identification unit 14d, the notification determination unit 14e, the communication control unit 14f, and the display control unit 14g are software-configured by a program executed by the CPU. .. A part or all of it may be configured in hardware by a dedicated circuit of a microcomputer.

押圧検出部１４ａは、手動スイッチ１２の押圧を検出する。なお、本実施の形態で押圧検出部１４ａが検出するのは、いわゆる「長押し」に対応する押圧である。すなわち、押圧検出部１４ａは、手動スイッチ１２が予め決定された時間（例えば、１秒）以上の時間押圧され続けられている場合に、押圧を検出する。詳細には、押圧検出部１４ａは、手動スイッチ１２からのオン信号の持続時間をＣＰＵの内部クロックに基づいて計測する。その後、押圧検出部１４ａは、該持続時間と予め決定された時間とを比較することによって、手動スイッチ１２が押圧されたか否かを判断する。 The press detection unit 14a detects the press of the manual switch 12. In the present embodiment, the pressing detection unit 14a detects the pressing corresponding to the so-called "long pressing". That is, the pressing detection unit 14a detects the pressing when the manual switch 12 is continuously pressed for a predetermined time (for example, 1 second) or longer. Specifically, the press detection unit 14a measures the duration of the on signal from the manual switch 12 based on the internal clock of the CPU. After that, the pressing detection unit 14a determines whether or not the manual switch 12 has been pressed by comparing the duration with the predetermined time.

画像取得部１４ｂは、車内カメラ１３により撮影された画像を取得する。具体的には、画像取得部１４ｂは、手動スイッチ１２の押圧を押圧検出部１４ａが検出した時に車内カメラ１３によって撮影された画像を取得する。画像取得部１４ｂは、取得した画像を顔画像抽出部１４ｃに出力する。 The image acquisition unit 14b acquires an image taken by the in-vehicle camera 13. Specifically, the image acquisition unit 14b acquires an image taken by the in-vehicle camera 13 when the press detection unit 14a detects the pressing of the manual switch 12. The image acquisition unit 14b outputs the acquired image to the face image extraction unit 14c.

顔画像抽出部１４ｃは、画像取得部１４ｂが取得した画像から、人物の顔が写っている領域（以下、「顔画像」）を抽出する。例えば、顔画像抽出部１４ｃは、顔画像検出用に予め学習されたAdaBoost、サポートベクトルマシンのような識別器（図示せず）を用いて顔画像を抽出する。 The face image extraction unit 14c extracts a region (hereinafter, “face image”) in which a person's face is captured from the image acquired by the image acquisition unit 14b. For example, the face image extraction unit 14c extracts a face image using a classifier (not shown) such as AdaBoost or a support vector machine learned in advance for face image detection.

例えば、顔画像抽出部１４ｃは、画像に対して検出ウィンドウを設定し、検出ウィンドウが設定された領域から、識別器で利用される特徴量を抽出する。特徴量は、例えば、ＨＯＧ特徴量である。そして、顔画像抽出部１４ｃは、抽出した特徴量を識別器に入力することによって、検出ウィンドウが設定された領域に顔画像が存在するか否かの結果を得る。なお、ＨＯＧ特徴量は、局所領域（セル）の画素値を勾配方向ヒストグラム化して特徴量としたものをいう。 For example, the face image extraction unit 14c sets a detection window for the image, and extracts the feature amount used in the classifier from the area in which the detection window is set. The feature amount is, for example, a HOG feature amount. Then, the face image extraction unit 14c obtains the result of whether or not the face image exists in the area in which the detection window is set by inputting the extracted feature amount into the classifier. The HOG feature amount refers to a feature amount obtained by converting the pixel value of a local region (cell) into a gradient direction histogram.

顔画像抽出部１４ｃは、上記の処理を検出ウィンドウの位置を変えながら繰り返すことによって、画像中に人物の顔が存在するか否かを判断し、人物の顔が存在する場合には、顔画像を抽出し、ＲＡＭに記憶させる。 The face image extraction unit 14c repeats the above process while changing the position of the detection window to determine whether or not a person's face is present in the image, and if a person's face is present, the face image. Is extracted and stored in the RAM.

上述した顔画像を抽出するための処理は一例であり、顔画像を抽出するために他の処理を適用することもできる。 The above-mentioned process for extracting a face image is an example, and other processes can be applied to extract a face image.

表情特定部１４ｄは、顔画像から人物がどのような表情をしているかを特定する。本実施の形態では、表情特定部１４ｄは、顔画像に写っている人物の表情が笑顔であるか否かを特定する。 The facial expression specifying unit 14d identifies what kind of facial expression the person has from the facial image. In the present embodiment, the facial expression specifying unit 14d specifies whether or not the facial expression of the person in the facial image is a smile.

表情特定部１４ｄは、顔画像に含まれる顔の口角、眉毛の角度、目等に基づいて、顔画像に写っている人物の表情が笑顔であるか否かを特定する。 The facial expression specifying unit 14d specifies whether or not the facial expression of the person in the facial image is a smile, based on the corners of the mouth, eyebrows, eyes, etc. of the face included in the facial image.

具体的には、表情特定部１４ｄは、顔画像に含まれる顔の口角、眉毛の角度、目等の表情要素に基づいて、顔画像に写っている人物の表情が笑顔に類似しているかの度合いである笑顔度を算出する。 Specifically, the facial expression specifying unit 14d determines whether the facial expression of the person in the facial image resembles a smile based on facial expression elements such as the corners of the mouth, eyebrows, and eyes included in the facial image. Calculate the degree of smile, which is the degree.

先ず、表情特定部１４ｄは、表情要素ごとにスコアを算出する。表情特定部１４ｄは、表情要素が笑顔の場合に特徴的な状態である場合、高いスコアを付与する。例えば、図３に示すように、符号Ｆ１を付した口角が上がっている、符号Ｆ２を付した眉毛の角度がハの字になっている、符号Ｆ３を付した目が閉じがちである等の笑顔に特徴的な状態である表情要素には、表情特定部１４ｄは、高いスコアを付与する。逆に、図４に示すように、符号Ｆ１を付した口角が下がっている、符号Ｆ２を付した眉毛の角度が逆ハの字になっている、符号Ｆ３を付した目を見開いている等の笑顔に特徴的でない要素には、表情特定部１４ｄは、低いスコアを付与する。 First, the facial expression specifying unit 14d calculates a score for each facial expression element. The facial expression specifying unit 14d gives a high score when the facial expression element is in a characteristic state when it is a smile. For example, as shown in FIG. 3, the angle of the mouth with the reference numeral F1 is raised, the angle of the eyebrows with the reference numeral F2 is C-shaped, the eyes with the reference numeral F3 tend to be closed, and the like. The facial expression specifying unit 14d gives a high score to the facial expression element, which is a state characteristic of a smile. On the contrary, as shown in FIG. 4, the angle of the mouth with the symbol F1 is lowered, the angle of the eyebrows with the symbol F2 is an inverted C shape, the eyes with the symbol F3 are open, and the like. The facial expression specifying unit 14d gives a low score to the elements that are not characteristic of the smile.

次に、表情特定部１４ｄは、各表情要素のスコアに基づいて笑顔度を算出する。具体的には、表情特定部１４ｄは、各表情要素のスコアの和を取り、笑顔度を算出する。表情特定部１４ｄは、笑顔度が予め決定された閾値以上である場合、顔画像に写っている人物の表情が笑顔であると特定する。 Next, the facial expression specifying unit 14d calculates the degree of smile based on the score of each facial expression element. Specifically, the facial expression specifying unit 14d takes the sum of the scores of each facial expression element and calculates the degree of smile. The facial expression specifying unit 14d identifies that the facial expression of the person in the facial image is a smile when the degree of smile is equal to or higher than a predetermined threshold value.

上述した笑顔であるか否かを判定する手法は一例であり、笑顔であるか否かを判定する手法として、他の種々の公知となっている技術を用いてもよい。 The above-mentioned method for determining whether or not a person has a smile is an example, and various other well-known techniques may be used as the method for determining whether or not the person has a smile.

通報判定部１４ｅは、表情特定部１４ｄによって特定した表情に基づいて、センタサーバ２への緊急通報を中止するか否かを判定する。本実施の形態では、通報判定部１４ｅは、顔画像に含まれる顔の表情が笑顔であると表情特定部１４ｄによって判定されたときにセンタサーバ２への緊急通報を中止すると判定する。 The report determination unit 14e determines whether or not to cancel the emergency call to the center server 2 based on the facial expression specified by the facial expression specifying unit 14d. In the present embodiment, the report determination unit 14e determines that the emergency call to the center server 2 is stopped when the facial expression specifying unit 14d determines that the facial expression included in the face image is a smile.

通信制御部１４ｆは、通信部１５を用いたセンタサーバ２との通信の制御を行う。表示制御部１４ｇは、ディスプレイ１６に表示させる画像を生成し、生成した画像をディスプレイ１６に表示させる制御を行う。 The communication control unit 14f controls communication with the center server 2 using the communication unit 15. The display control unit 14g generates an image to be displayed on the display 16 and controls the display 16 to display the generated image.

通信部１５は、通信ネットワーク３に接続するためのインタフェース回路を有する。そして、通信部１５は、通信ネットワーク３を介してセンタサーバ２と通信を行う。 The communication unit 15 has an interface circuit for connecting to the communication network 3. Then, the communication unit 15 communicates with the center server 2 via the communication network 3.

図５は、本実施の形態における緊急通報装置と通信を行うセンタサーバの構成図の一例である。図５において、センタサーバ２は、制御部２１、通信部２２及びメモリ２３を備える。 FIG. 5 is an example of a configuration diagram of a center server that communicates with the emergency call device according to the present embodiment. In FIG. 5, the center server 2 includes a control unit 21, a communication unit 22, and a memory 23.

制御部２１は、マイクロコンピュータと、入出力ポート、インタフェース回路等の周辺回路と、を備える。マイクロコンピュータは、ＣＰＵ、ＲＡＭ及びＲＯＭを備える。ＣＰＵは、各種制御プログラムを実行する。ＲＡＭは、ＴＣＵ１１からのデータ等を一時的に格納する。ＲＯＭは、各種制御プログラム等を格納する。 The control unit 21 includes a microcomputer and peripheral circuits such as input / output ports and interface circuits. The microcomputer includes a CPU, RAM, and ROM. The CPU executes various control programs. The RAM temporarily stores data and the like from the TCU 11. The ROM stores various control programs and the like.

本実施の形態では、制御部２１は、通信制御部２１ａを備える。通信制御部２１ａは、ＣＰＵによって実行されるプログラムによってソフトウェア的に構成される。マイクロコンピュータの専用回路により一部又は全てをハードウェア的に構成してもよい。 In the present embodiment, the control unit 21 includes a communication control unit 21a. The communication control unit 21a is software-configured by a program executed by the CPU. A part or all of it may be configured in hardware by a dedicated circuit of a microcomputer.

通信制御部２１ａは、通信部２２を用いたＴＣＵ１１との通信の制御を行う。通信部２２は、通信ネットワーク３に接続するためのインタフェース回路を有する。そして、通信部２２は、通信ネットワーク３を介してＴＣＵ１１と通信を行う。メモリ２３は、センタサーバ２と通信可能な車両を判別するために車両１の車両ＩＤ等を予め格納する。 The communication control unit 21a controls communication with the TCU 11 using the communication unit 22. The communication unit 22 has an interface circuit for connecting to the communication network 3. Then, the communication unit 22 communicates with the TCU 11 via the communication network 3. The memory 23 stores the vehicle ID of the vehicle 1 and the like in advance in order to determine the vehicle that can communicate with the center server 2.

図６は、図２に示す緊急通報装置の緊急通報処理の一例を示すフローチャートである。このフローは、センタサーバ２への緊急通報を中止するか否かを判定するためのものであり、ＲＯＭに予め記憶されている緊急通報プログラムに基づいて、主にＴＣＵ１１の各要素によって実行される。また、このフローは、押圧検出部１４ａが手動スイッチ１２の長押しを検出した時に実行される。 FIG. 6 is a flowchart showing an example of emergency call processing of the emergency call device shown in FIG. This flow is for determining whether or not to cancel the emergency call to the center server 2, and is mainly executed by each element of the TCU 11 based on the emergency call program stored in advance in the ROM. .. Further, this flow is executed when the press detection unit 14a detects a long press of the manual switch 12.

先ず、画像取得部１４ｂが、手動スイッチ１２が長押された時に車内カメラ１３によって撮影された画像を取得する（ステップＳ１１）。 First, the image acquisition unit 14b acquires an image taken by the in-vehicle camera 13 when the manual switch 12 is pressed and held (step S11).

次に、顔画像抽出部１４ｃは、画像取得部１４ｂが取得した画像から人物の顔画像を、上述した顔画像を抽出するための処理により抽出する。通報判定部１４ｅは、顔画像が抽出できたか否かを判断する（ステップＳ１２）。通報判定部１４ｅは、顔画像が抽出できなかった場合は緊急通報を中止しないと判定する（ステップＳ１２のＮｏ）。その後、制御部１４は、緊急通報処理を車両ＩＤと関連付けて行い（ステップＳ１３）、処理を終了する。 Next, the face image extraction unit 14c extracts a person's face image from the image acquired by the image acquisition unit 14b by the above-mentioned process for extracting the face image. The report determination unit 14e determines whether or not the face image can be extracted (step S12). The report determination unit 14e determines that the emergency call will not be stopped if the face image cannot be extracted (No in step S12). After that, the control unit 14 performs the emergency call processing in association with the vehicle ID (step S13), and ends the processing.

また、緊急通報時に画像取得部１４ｂが取得した画像をセンタサーバ２に送信してもよい。これによって、車両１の内部の状況を視覚的に伝えることができる。 Further, the image acquired by the image acquisition unit 14b at the time of an emergency call may be transmitted to the center server 2. This makes it possible to visually convey the internal situation of the vehicle 1.

顔画像抽出部１４ｃにおいて顔画像が抽出できた場合（ステップＳ１２のＹｅｓ）、表情特定部１４ｄは、顔画像に写っている人物の表情が笑顔であるか否かを、上述した笑顔であるか否かを判定する手法により特定する（ステップＳ１４）。通報判定部１４ｅは、顔画像に写っている人物の表情が笑顔でない場合は緊急通報を中止しないと判定する（ステップＳ１４のＮｏ）。制御部１４は、緊急通報処理を車両ＩＤと関連付けて行い（ステップＳ１３）、処理を終了する。 When the face image can be extracted by the face image extraction unit 14c (Yes in step S12), the facial expression identification unit 14d determines whether or not the facial expression of the person in the face image is a smile, as described above. It is specified by a method for determining whether or not it is present (step S14). The report determination unit 14e determines that the emergency call will not be stopped if the facial expression of the person in the face image is not a smile (No in step S14). The control unit 14 performs the emergency call process in association with the vehicle ID (step S13), and ends the process.

顔画像に写っている人物の表情が笑顔である場合（ステップＳ１４のＹｅｓ）、通報判定部１４ｅは、センタサーバ２への緊急通報を中止すると判定する。その後、制御部１４は、センタサーバ２への緊急通報の中止処理を行う（ステップＳ１５）。センタサーバ２への緊急通報を中止する場合、表示制御部１４ｇは、手動スイッチ１２が押圧されたがいたずらの可能性があるために通報を中止した旨をディスプレイ１６に表示させる。 When the facial expression of the person in the face image is a smile (Yes in step S14), the report determination unit 14e determines that the emergency call to the center server 2 is stopped. After that, the control unit 14 cancels the emergency call to the center server 2 (step S15). When canceling the emergency call to the center server 2, the display control unit 14g causes the display 16 to indicate that the call has been canceled because the manual switch 12 is pressed but there is a possibility of mischief.

また、センタサーバ２への緊急通報を中止するか否かを、笑顔以外の表情（例えば、満足／不満足の分類、真顔／喜び／驚き／怒り／悲しみの五つの表情）又は笑顔と笑顔以外の表情の組合せに基づいて判定してもよい。 In addition, whether or not to cancel the emergency call to the center server 2 is determined by facial expressions other than smiles (for example, five facial expressions of satisfaction / dissatisfaction, true face / joy / surprise / anger / sadness) or smiles and smiles. The judgment may be made based on the combination of facial expressions.

本実施の形態によれば、画像取得部１４ｂによって取得された画像に写った人物の表情が笑顔である時に、緊急通報を実行しないと判定する。これによって、センタサーバ２への緊急通報の誤通報を減少させることができる。 According to the present embodiment, when the facial expression of the person in the image acquired by the image acquisition unit 14b is a smile, it is determined that the emergency call is not executed. As a result, it is possible to reduce erroneous reports of emergency calls to the center server 2.

＜変形例１＞
上述した実施の形態に加えて、通報判定部１４ｅは、通報判定部１４ｅは、特定した表情に基づいて緊急通報を中止するか否かを判定するのに加えて、車両１が走行中であるか否かをさらに判断してもよい。具体的には、通報判定部１４ｅは、位置取得部１７が取得した位置情報に含まれる車両１の位置の変化に基づいて、車両１が走行中であるか否かをさらに判断する。例えば、通報判定部１４ｅは、位置情報に含まれる車両１の位置が予め決定された時間間隔（例えば、１０秒）内で変化したときに、車両１が走行中であると判断する。また、併せて車両１それ自体の情報を用いてもよい。例えば、通報判定部１４ｅは、車両１のイグニション信号や、図示しない速度センサから取得した速度情報などを用いて走行中であるか否かを判断してもよい。 <Modification example 1>
In addition to the above-described embodiment, the report determination unit 14e determines whether or not to stop the emergency call based on the specified facial expression, and the vehicle 1 is running. You may further determine whether or not. Specifically, the report determination unit 14e further determines whether or not the vehicle 1 is traveling based on the change in the position of the vehicle 1 included in the position information acquired by the position acquisition unit 17. For example, the report determination unit 14e determines that the vehicle 1 is running when the position of the vehicle 1 included in the position information changes within a predetermined time interval (for example, 10 seconds). In addition, the information of the vehicle 1 itself may be used at the same time. For example, the notification determination unit 14e may determine whether or not the vehicle is traveling by using an ignition signal of the vehicle 1 or speed information acquired from a speed sensor (not shown).

車両１が走行中であると判断された場合、通報判定部１４ｅは、手動スイッチ１２の押圧が荷物等によって行われたと判断する。そして、通報判定部１４ｅは、緊急通報を実行しないと判定し、制御部１４は、センタサーバ２への緊急通報を中止する。 When it is determined that the vehicle 1 is traveling, the notification determination unit 14e determines that the manual switch 12 has been pressed by a load or the like. Then, the report determination unit 14e determines that the emergency call is not executed, and the control unit 14 cancels the emergency call to the center server 2.

このような構成とすることで、車両１が走行中であるときにセンタサーバ２への緊急通報を実行しないことによって、センタサーバ２への誤通知を減少させることができる。特に、手動スイッチ１２は、見た目や運転操作への影響を鑑みてグローブボックス下などに配置される場合もある。このような場合に荷物や足などが接触して押圧することによる誤操作による誤通報を減少させることができる。 With such a configuration, it is possible to reduce erroneous notifications to the center server 2 by not executing an emergency call to the center server 2 while the vehicle 1 is traveling. In particular, the manual switch 12 may be arranged under the glove box or the like in consideration of the appearance and the influence on the driving operation. In such a case, it is possible to reduce erroneous reports due to erroneous operation due to contact and pressing of luggage or feet.

＜変形例２＞
また、上述した実施の形態では、通報判定部１４ｅは、特定した表情に基づいて緊急通報を中止するか否かを判定していたが、さらに、押圧検出部１４ａが手動スイッチ１２の押圧を検出した後、予め決定された時間間隔（例えば、１分）内に再度押圧検出部１４ａが手動スイッチ１２の押圧を検出したか否かを判断してもよい。 <Modification 2>
Further, in the above-described embodiment, the report determination unit 14e determines whether or not to stop the emergency call based on the specified facial expression, but the press detection unit 14a further detects the press of the manual switch 12. After that, it may be determined whether or not the press detection unit 14a has detected the press of the manual switch 12 again within a predetermined time interval (for example, 1 minute).

手動スイッチ１２の押圧を再度検出したと判断された場合、緊急通報を中止しないと判定する。そして、制御部１４は、センタサーバ２への緊急通報を車両ＩＤと関連付けて行う。 When it is determined that the pressing of the manual switch 12 is detected again, it is determined that the emergency call is not stopped. Then, the control unit 14 makes an emergency call to the center server 2 in association with the vehicle ID.

手動スイッチ１２の押圧を再度検出したときにセンタサーバ２への緊急通報を行うことによって、センタサーバ２への誤通報を減少させることができる。 By making an emergency call to the center server 2 when the pressing of the manual switch 12 is detected again, it is possible to reduce the number of erroneous reports to the center server 2.

＜変形例３＞
また、表情特定部１４ｄは、表情を特定するのに加えて、顔画像に含まれる顔の視線方向をさらに推定してもよい。具体的には、表情特定部１４ｄは、顔画像に含まれる顔の向きとして（正面／上向き／下向き／右向き／左向き等）を推定する。 <Modification example 3>
In addition to specifying the facial expression, the facial expression specifying unit 14d may further estimate the line-of-sight direction of the face included in the facial image. Specifically, the facial expression specifying unit 14d estimates (front / upward / downward / right / left, etc.) as the orientation of the face included in the facial image.

そして、通報判定部１４ｅは、表情特定部１４ｄで推定された、顔の向きが手動スイッチ１２を注視する向きであるか否かを判断し、緊急通報を中止するか否かを判定してもよい。具体的には、表情特定部１４ｄで推定された、顔の向きが手動スイッチ１２を注視する向きでない場合、通報判定部１４ｅは、緊急通報を中止しないと判定する。 Then, the report determination unit 14e determines whether or not the face orientation estimated by the facial expression identification unit 14d is the direction in which the manual switch 12 is gazed, and determines whether or not to cancel the emergency call. Good. Specifically, when the direction of the face estimated by the facial expression specifying unit 14d is not the direction in which the manual switch 12 is gazed, the notification determination unit 14e determines that the emergency call is not stopped.

顔画像に含まれる人物の顔の向きが手動スイッチ１２を注視する向きでないときにセンタサーバ２への緊急通報を中止することによって、センタサーバ２への緊急通報の誤通報を減少させることができる。 By stopping the emergency call to the center server 2 when the direction of the face of the person included in the face image is not the direction to gaze at the manual switch 12, it is possible to reduce the erroneous report of the emergency call to the center server 2. ..

＜変形例４＞
さらに、車両１の乗員に注意を喚起させるために、車両１の乗員に注意を喚起させるための音声を、手動スイッチ１２が押圧されたがいたずらの可能性があるために通報を中止した旨をディスプレイ１６に表示させる代わりに又は手動スイッチ１２が押圧されたがいたずらの可能性があるために通報を中止した旨のディスプレイ１６への表示と共に用いてもよい。 <Modification example 4>
Further, in order to alert the occupants of the vehicle 1, the voice for alerting the occupants of the vehicle 1 was stopped because the manual switch 12 was pressed but there was a possibility of mischief. Instead of displaying on the display 16, or when the manual switch 12 is pressed, it may be used together with a display on the display 16 indicating that the notification has been stopped because there is a possibility of mischief.

１ 車両
２ センタサーバ
３ 通信ネットワーク
１１ テレマティクスコントロールユニット（ＴＣＵ）
１２ 手動スイッチ
１３ 車内カメラ
１４，２１ 制御部
１４ａ 押圧検出部
１４ｂ 画像取得部
１４ｃ 顔画像抽出部
１４ｄ 表情特定部
１４ｅ 通報判定部
１４ｆ，２１ａ 通信制御部
１４ｇ 表示制御部
１５，２２ 通信部
１６ ディスプレイ
１７ 位置取得部
２３ メモリ
Ｆ１ 口角
Ｆ２ 眉毛
Ｆ３ 目 1 Vehicle 2 Center server 3 Communication network 11 Telematics control unit (TCU)
12 Manual switch 13 In-vehicle camera 14, 21 Control unit 14a Press detection unit 14b Image acquisition unit 14c Face image extraction unit 14d Facial expression identification unit 14e Report determination unit 14f, 21a Communication control unit 14g Display control unit 15, 22 Communication unit 16 Display 17 Position acquisition unit 23 Memory F1 Mouth corner F2 Eyebrows F3 Eyes

Claims (9)

車両に配置され、押圧により手動で緊急通報を行うための手動スイッチを設けた緊急通報装置であって、
前記車両の車室内に配置され、前記手動スイッチを押圧可能な人物を撮影可能なカメラにより撮影された画像を取得する画像取得部と、
前記画像取得部によって取得された画像に写った人物の表情を特定する表情特定部と、
前記特定した表情に基づいて、前記緊急通報を中止するか否かを判定する通報判定部と、
を備えることを特徴とする緊急通報装置。 It is an emergency call device that is placed on the vehicle and has a manual switch for manually making an emergency call by pressing.
An image acquisition unit that is arranged in the passenger compartment of the vehicle and acquires an image taken by a camera capable of photographing a person who can press the manual switch.
A facial expression specifying unit that identifies a person's facial expression in an image acquired by the image acquisition unit, and a facial expression specifying unit.
Based on the specified facial expression, a report determination unit that determines whether or not to cancel the emergency call, and a report determination unit.
An emergency call device characterized by being equipped with. 前記手動スイッチの押圧を検出する押圧検出部をさらに備え、
前記画像取得部は、
前記手動スイッチの押圧を検出した時に画像を取得することを特徴とする請求項１に記載の緊急通報装置。 A press detection unit for detecting the press of the manual switch is further provided.
The image acquisition unit
The emergency call device according to claim 1, wherein an image is acquired when the pressing of the manual switch is detected. 前記手動スイッチの押圧を検出する押圧検出部をさらに備え、
前記表情特定部は、
前記画像取得部によって取得された画像の内、前記手動スイッチの押圧を検出した時に前記カメラにより撮影された画像に写った人物の表情を特定することを特徴とする請求項１に記載の緊急通報装置。 A press detection unit for detecting the press of the manual switch is further provided.
The facial expression specifying part is
The emergency call according to claim 1, wherein among the images acquired by the image acquisition unit, the facial expression of a person captured in the image captured by the camera when the pressing of the manual switch is detected is specified. apparatus. 前記通報判定部は、
前記特定した表情が笑顔である場合、前記緊急通報を中止すると判定することを特徴とする請求項１ないし３のいずれかに記載の緊急通報装置。 The report judgment unit
The emergency call device according to any one of claims 1 to 3, wherein when the specified facial expression is a smile, it is determined that the emergency call is stopped. 前記表情特定部は、
前記取得した画像に写った人物の顔の向きを特定し、
前記通報判定部は、
前記特定した人物の顔の向きが前記手動スイッチを注視する向きでない場合、前記緊急通報を中止すると判定することを特徴とする請求項１ないし４のいずれかに記載の緊急通報装置。 The facial expression specifying part is
Identify the orientation of the person's face in the acquired image and
The report judgment unit
The emergency call device according to any one of claims 1 to 4, wherein if the face of the specified person is not in the direction of gazing at the manual switch, it is determined that the emergency call is stopped. 前記通報判定部は、
前記押圧検出部が前記手動スイッチの押圧を検出した後、予め決定された時間間隔内に再度、前記押圧検出部が前記手動スイッチの押圧を検出した場合、前記緊急通報を中止しないと判定することを特徴とする請求項２又は３に記載の緊急通報装置。 The report judgment unit
After the press detection unit detects the press of the manual switch, if the press detection unit detects the press of the manual switch again within a predetermined time interval, it is determined that the emergency call is not stopped. The emergency call device according to claim 2 or 3. 前記通報判定部は、
前記緊急通報装置が搭載された車両が走行中である場合、前記緊急通報を中止すると判定することを特徴とする請求項１ないし６のいずれかに記載の緊急通報装置。 The report judgment unit
The emergency call device according to any one of claims 1 to 6, wherein when the vehicle equipped with the emergency call device is running, it is determined that the emergency call is stopped. 前記通報判定部は、
前記表情特定部において、前記取得された画像に写る人物の表情を特定できなかった場合、前記緊急通報を中止しないと判定することを特徴とする請求項１ないし７のいずれかに記載の緊急通報装置。 The report judgment unit
The emergency call according to any one of claims 1 to 7, wherein if the facial expression specifying unit cannot identify the facial expression of the person appearing in the acquired image, it is determined that the emergency call is not stopped. apparatus. 車両に配置され、押圧により手動で緊急通報を行うための手動スイッチを用いる、コンピュータによって行う緊急通報方法であって、
前記車両の車室内に配置され、前記手動スイッチを押圧可能な人物を撮影可能なカメラにより撮影された画像を取得するステップと、
取得された画像に写った人物の表情を特定するステップと、
特定した表情に基づいて前記緊急通報を中止するか否かを判定するステップと、
を備えることを特徴とする緊急通報方法。 It is an emergency call method performed by a computer, which is placed in a vehicle and uses a manual switch for manually making an emergency call by pressing.
A step of acquiring an image taken by a camera that is placed in the passenger compartment of the vehicle and can take a picture of a person who can press the manual switch.
Steps to identify the facial expression of the person in the acquired image,
A step of determining whether or not to cancel the emergency call based on the identified facial expression, and
An emergency call method characterized by providing.
JP2019175656A 2019-09-26 2019-09-26 Emergency call device and method Active JP7296838B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019175656A JP7296838B2 (en) 2019-09-26 2019-09-26 Emergency call device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019175656A JP7296838B2 (en) 2019-09-26 2019-09-26 Emergency call device and method

Publications (2)

Publication Number Publication Date
JP2021051680A true JP2021051680A (en) 2021-04-01
JP7296838B2 JP7296838B2 (en) 2023-06-23

Family

ID=75158288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019175656A Active JP7296838B2 (en) 2019-09-26 2019-09-26 Emergency call device and method

Country Status (1)

Country Link
JP (1) JP7296838B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7355120B2 (en) 2019-12-27 2023-10-03 日本電気株式会社 Processing equipment, processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233886A (en) 2002-02-12 2003-08-22 Mitsubishi Electric Corp Emergency notification device for vehicle
JP6318192B2 (en) 2016-05-13 2018-04-25 愛瑪麗歐股▲ふん▼有限公司 Emergency call device and system
JP6954164B2 (en) 2018-02-09 2021-10-27 トヨタ自動車株式会社 In-vehicle situation notification system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7355120B2 (en) 2019-12-27 2023-10-03 日本電気株式会社 Processing equipment, processing method and program
US11869244B2 (en) 2019-12-27 2024-01-09 Nec Corporation Notification device, notification method, and notification storage medium

Also Published As

Publication number Publication date
JP7296838B2 (en) 2023-06-23

Similar Documents

Publication Publication Date Title
US20210009150A1 (en) Method for recognizing dangerous action of personnel in vehicle, electronic device and storage medium
US9662977B2 (en) Driver state monitoring system
US9888875B2 (en) Driver monitoring apparatus
US10936890B2 (en) Vehicle device
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
WO2014034065A1 (en) Moving body warning device and moving body warning method
KR20120074820A (en) Control system for vehicle using face recognition function
US20120286957A1 (en) Mobile Sleep Detection Method and System
US20210070306A1 (en) Closed eye determination device
JP2021176235A (en) Image processing method
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
US20220309808A1 (en) Driver monitoring device, driver monitoring method, and driver monitoring-use computer program
JP7296838B2 (en) Emergency call device and method
JP2020166524A (en) Monitoring system, monitoring method, and computer program
JP2018148530A (en) Vehicle display controller, vehicle display system, vehicle display control method, and program
CN115336248B (en) Recording control device and recording control method for vehicle
CN108140119B (en) Method and apparatus for providing passenger information to a safety device of a vehicle
JP4192643B2 (en) Vehicle driver&#39;s gaze detection device
JPH0793700A (en) Driver state monitoring device
KR20190044818A (en) Apparatus for monitoring driver and method thereof
JP2010108167A (en) Face recognition device
US20200193197A1 (en) Information processing apparatus and computer-readable storage medium
WO2019221070A1 (en) Information processing device, information processing method, and information processing program
JP2019185357A (en) Image display device
US20230306757A1 (en) Vehicle interior monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7296838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150