JP2020002514A - Helmet - Google Patents

Helmet Download PDF

Info

Publication number
JP2020002514A
JP2020002514A JP2018125119A JP2018125119A JP2020002514A JP 2020002514 A JP2020002514 A JP 2020002514A JP 2018125119 A JP2018125119 A JP 2018125119A JP 2018125119 A JP2018125119 A JP 2018125119A JP 2020002514 A JP2020002514 A JP 2020002514A
Authority
JP
Japan
Prior art keywords
wearer
camera
photographing
helmet
alerting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018125119A
Other languages
Japanese (ja)
Other versions
JP7359532B2 (en
Inventor
友理 清水
Yuri Shimizu
友理 清水
拓也 小野田
Takuya Onoda
拓也 小野田
亮 大手山
Ryo Oteyama
亮 大手山
長谷部　貴司
Takashi Hasebe
貴司 長谷部
田中　健吾
Kengo Tanaka
健吾 田中
田中　大輔
Daisuke Tanaka
大輔 田中
章吾 鈴木
Shogo Suzuki
章吾 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infocube Inc
Taisei Corp
Original Assignee
Infocube Inc
Taisei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infocube Inc, Taisei Corp filed Critical Infocube Inc
Priority to JP2018125119A priority Critical patent/JP7359532B2/en
Publication of JP2020002514A publication Critical patent/JP2020002514A/en
Application granted granted Critical
Publication of JP7359532B2 publication Critical patent/JP7359532B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Helmets And Other Head Coverings (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

To provide a helmet that can acquire information to alert workers about dangerous objects that are present in the vicinity.SOLUTION: There is provided a helmet to be worn on a human head, including: a camera for shooting surrounding conditions to shoot surroundings of a wearer; a gaze direction measurement camera that performs shooting to measure a gaze direction of the wearer; an object extraction unit for extracting objects existing around the wearer by applying a predetermined image analysis to an image taken by the camera for shooting surrounding conditions; an alerting target determination unit for determining an object to alert the wearer among the objects extracted by the object extraction unit; and alerting means to alert the wearer when the object to be alerted is determined by the alerting target determination unit.SELECTED DRAWING: Figure 1

Description

本発明は、周辺状況を撮影するためのカメラ及び装着者の視線方向を計測するためのカメラ装置を搭載したヘルメットに関するものである。   The present invention relates to a helmet equipped with a camera for photographing a surrounding situation and a camera device for measuring a gaze direction of a wearer.

従来、工事現場など危険を伴う作業現場では、作業員はヘルメットを装着する。原則的には、危険な対象を作業員自身が把握するように努める必要があるが、想定外の状況において作業員の生命を守るためにヘルメットは重要な装備である。   2. Description of the Related Art Conventionally, workers are wearing helmets at work sites that involve danger such as construction sites. In principle, workers must strive to identify dangerous objects themselves, but helmets are an important piece of equipment in order to protect workers' lives in unexpected situations.

作業員の安全性を確保する機能を補強したヘルメットとしては、例えば、特許文献１が挙げられる。この特許文献１には、カメラを搭載し、撮影した画像を通信機能を介して基地局に送信する機能を備えたヘルメットが開示されている。   Patent Literature 1 is an example of a helmet that reinforces the function of ensuring worker safety. Patent Literature 1 discloses a helmet equipped with a camera and having a function of transmitting a captured image to a base station via a communication function.

特開２００７−０７２８０２号公報JP 2007-07802A

特許文献１において開示されているヘルメットは、撮影するためのカメラ及び撮影画像を送信するための通信機能を備えているが、周辺状況についての撮影結果に基づいて危険な対象について作業員に注意喚起を行うような仕組みは採用されていない。作業員が自身の作業に集中していると危険な対象を認識することが遅れる場合があり、このような作業員に対して注意喚起を行えるヘルメットが求められている。   The helmet disclosed in Patent Literature 1 has a camera for photographing and a communication function for transmitting a photographed image, but alerts a worker about a dangerous target based on a photographing result of a surrounding situation. Is not adopted. If a worker concentrates on his or her own work, it may be late to recognize a dangerous object, and a helmet capable of alerting such a worker is required.

本発明は、上記問題点に鑑みなされたものであり、周辺に存在する危険な対象について作業員に注意喚起を行うための情報を取得することができるヘルメットを提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a helmet capable of acquiring information for alerting a worker about a dangerous object existing in the vicinity.

本発明に係るヘルメットは、人の頭部に装着させるヘルメットであって、装着者の周囲の状況を撮影するための周囲状況撮影用カメラと、装着者の視線方向を計測するための撮影を行う視線方向計測用カメラとを備えることを特徴とする。   A helmet according to the present invention is a helmet to be worn on a person's head, and performs a surrounding situation photographing camera for photographing a situation around the wearer and a photographing for measuring a gaze direction of the wearer. A gaze direction measuring camera.

また、本発明に係るヘルメットは、装着者の手元方向を撮影するための手元撮影用カメラを備えたことを特徴とする。   Further, the helmet according to the present invention is characterized in that it is provided with a camera for photographing the hand of the wearer in the hand direction.

また、本発明に係るヘルメットは、視線方向計測用カメラは、概略半球状の頭部被覆部材の装着時前方側に設けられたつば部に対して設置され、装着者の目を含む顔を撮影するように撮影方向を定めてあることを特徴とする。   Further, in the helmet according to the present invention, the gaze direction measuring camera is installed with respect to the collar portion provided on the front side when the substantially hemispherical head covering member is mounted, and captures a face including the eyes of the wearer. The photographing direction is determined so as to perform the operation.

また、本発明に係るヘルメットは、前記周囲状況撮影用カメラによる撮影画像に対して所定の画像解析を適用することで装着者の周囲に存在するオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部において抽出したオブジェクトのうち装着者に注意喚起すべきオブジェクトを判別する注意喚起対象判別部と、前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別した場合に、装着者に対して注意喚起を行うための注意喚起手段とを備えることを特徴とする。   In addition, the helmet according to the present invention includes an object extraction unit that extracts an object existing around a wearer by applying a predetermined image analysis to an image captured by the surrounding situation imaging camera, and the object extraction unit. A warning target determination unit that determines an object to be alerted to the wearer among the objects extracted in the above, and when the object to be alerted is determined by the alert target determination unit, alerts the wearer. And an alerting means for performing.

また、本発明に係るヘルメットは、前記注意喚起手段は、前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別し、かつ、前記視線方向計測用カメラによる撮影データから計測した装着者の視線方向が前記注意喚起すべきオブジェクトの方向を向いていない場合に、装着者に対して注意喚起を行うようにしたことを特徴とする。   Further, in the helmet according to the present invention, the alerting means determines an object to be alerted in the alerting target determination unit, and furthermore, a gaze direction of the wearer measured from data captured by the gaze direction measuring camera. Is alerted to the wearer when the object is not facing the direction of the object to be alerted.

本発明によれば、装着者の周囲の状況を撮影するための周囲状況撮影用カメラと、装着者の視線方向を計測するための撮影を行う視線方向計測用カメラとを備えるようにしたので、装着者の周辺状況の撮影データと、装着者の視線方向を計測するための撮影データを同時に取得することが可能となる。また、装着者の手元方向を撮影するための手元撮影用カメラを備えさせることで、装着者の手元の作業状況等を判別するための撮影データについても同時に取得することが可能となる。   According to the present invention, a surrounding situation photographing camera for photographing the situation around the wearer and a gaze direction measuring camera that performs photographing for measuring the gaze direction of the wearer are provided. This makes it possible to simultaneously acquire photographing data of the situation around the wearer and photographing data for measuring the gaze direction of the wearer. In addition, by providing a hand-held camera for shooting in the hand direction of the wearer, it is possible to simultaneously acquire shooting data for determining the work status and the like of the wearer's hand.

また、本発明によれば、周囲状況撮影用カメラによる撮影画像に対して所定の画像解析を適用することで装着者の周囲に存在するオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部において抽出したオブジェクトのうち装着者に注意喚起すべきオブジェクトを判別する注意喚起対象判別部と、前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別した場合に、装着者に対して注意喚起を行うための注意喚起手段とを備えるようにしたので、周囲状況撮影用カメラによる撮影画像に基づいて注意喚起すべきオブジェクトを抽出して、装着者に注意喚起を実行することが可能となる。また、注意喚起対象判別部において注意喚起すべきオブジェクトを判別し、かつ、視線方向計測用カメラによる撮影データから計測した装着者の視線方向が注意喚起すべきオブジェクトの方向を向いていない場合に、装着者に対して注意喚起を行うようにすることで、注意喚起の必要性が高い状況において注意喚起を実行することが可能となる。   Further, according to the present invention, an object extraction unit that extracts an object existing around the wearer by applying a predetermined image analysis to an image captured by the surrounding situation imaging camera, and extracts the object in the object extraction unit An alerting target determining unit that determines an object to be alerted to the wearer among the objects that have been alerted, and an alerting unit that alerts the wearer when the alerting target determining unit determines the object to alert. Therefore, it is possible to extract an object to be alerted based on an image taken by the surrounding situation photographing camera, and execute the alert to the wearer. In addition, when the object to be alerted is determined in the alerting target determination unit, and the gaze direction of the wearer measured from the shooting data by the gaze direction measuring camera is not facing the direction of the object to be alerted, By causing the wearer to be alerted, it is possible to execute alerting in a situation where the need for alerting is high.

本発明に係る対ヘルメット１０の構成を表した説明図である。FIG. 2 is an explanatory diagram showing a configuration of the anti-helmet 10 according to the present invention. 制御装置２０の構成を表したブロック図である。FIG. 2 is a block diagram illustrating a configuration of a control device 20. 周囲状況撮影用カメラ１３ａによって撮影された撮影データの一例を表した画像図である。It is an image figure showing an example of photography data photographed by camera 13a for surrounding situation photography. 制御装置２０における注意喚起処理の流れを示したフローチャート図である。FIG. 4 is a flowchart illustrating a flow of a warning process in a control device 20.

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係るヘルメットの例について説明する。図１は、本発明に係る対ヘルメット１０の構成を表した説明図である。この図１に示すように、本発明に係るヘルメット１０は、例えば、概略半球状の頭部被覆部材１１と、装着時前方側のつば部１２とで外形形状が定まっており、頭部被覆部材１１又はつば部１２に対して撮影用カメラを搭載させることを特徴とする。図１（ａ）及び（ｂ）に示すように、頭部被覆部材１１には、装着者の周囲の状況を撮影するための周囲状況撮影用カメラ１３ａと、装着者の手元方向を撮影するための手元撮影用カメラ１５が搭載され、つば部１２には、装着者の視線方向を計測するための撮影を行う視線方向計測用カメラ１４が搭載されている。 [First Embodiment]
Hereinafter, an example of the helmet according to the first embodiment will be described with reference to the drawings. FIG. 1 is an explanatory diagram showing the configuration of the anti-helmet 10 according to the present invention. As shown in FIG. 1, a helmet 10 according to the present invention has, for example, an outer shape defined by a substantially hemispherical head covering member 11 and a front flange 12 at the time of mounting, and It is characterized in that a photographing camera is mounted on 11 or the collar portion 12. As shown in FIGS. 1A and 1B, the head covering member 11 has a surrounding situation photographing camera 13a for photographing the situation around the wearer, and a camera 13a for photographing the hand direction of the wearer. Is mounted on the collar portion 12, and a gaze direction measuring camera 14 that performs imaging for measuring the gaze direction of the wearer is mounted on the collar portion 12.

図１（ａ）及び（ｂ）において、周囲状況撮影用カメラ１３ａは、装着者の正面方向を撮影するための少なくとも１つ以上のカメラであって、概略半球状の頭部被覆部材１１に対して、半分よりも前方側にカメラのレンズ部が位置するように取り付けられていることが好ましい。図１（ａ）及び（ｂ）においては、装着者から見て正面方向を撮影するように撮影方向が定められているが、正面方向のみならず、後方、側面などの各方向を撮影するための周囲状況撮影用カメラ１３ａを複数搭載するようにしてもよい。また、正面方向を撮影するための周囲状況撮影用カメラ１３ａを、右側頭部と左側頭部の２箇所に搭載するようにしてもよい。   In FIGS. 1A and 1B, a surrounding situation photographing camera 13 a is at least one or more cameras for photographing a front direction of a wearer, and a camera 13 a for a substantially hemispherical head covering member 11. It is preferable that the camera is mounted so that the lens portion of the camera is located forward of half. In FIGS. 1A and 1B, the photographing direction is determined so as to photograph the front direction as viewed from the wearer. However, since the photographing direction is not limited to the front direction, the photographing direction is not limited to the front direction. A plurality of surrounding situation photographing cameras 13a may be mounted. Alternatively, the surrounding situation photographing camera 13a for photographing the front direction may be mounted at two places, the right head and the left head.

図１（ａ）及び（ｂ）において、周囲状況撮影用カメラ１３ａは、視線方向計測用カメラ１４は、装着者の視線方向を計測することを目的として搭載するカメラであるので、装着者の目を含む顔の表情を撮影できるように、つば部１２から顔の方向に撮影方向を定める必要がある。   In FIGS. 1A and 1B, the surrounding situation photographing camera 13a and the gaze direction measuring camera 14 are cameras mounted for the purpose of measuring the gaze direction of the wearer. It is necessary to determine the photographing direction from the brim section 12 to the direction of the face so that the facial expression including the image can be photographed.

また、図１（ｃ）に示すように、３６０°の同時撮影が可能な全方位撮影カメラとしての周囲状況撮影用カメラ１３ｂを搭載するようにしてもよい。全方位撮影カメラとしての周囲状況撮影用カメラ１３ｂを採用することで、一度の撮影で全方位について撮影が可能となる。   Also, as shown in FIG. 1C, a surrounding situation photographing camera 13b as an omnidirectional photographing camera capable of simultaneously photographing at 360 ° may be mounted. By employing the surrounding situation photographing camera 13b as the omnidirectional photographing camera, photographing in all directions can be performed by one photographing.

また、図１（ａ）乃至（ｃ）に示すように、本発明に係るヘルメット１０は、装着者に対して注意喚起を行う機能を制御するための制御装置２０を備えるようにしてもよい。   Further, as shown in FIGS. 1A to 1C, the helmet 10 according to the present invention may include a control device 20 for controlling a function of alerting the wearer.

図２は、制御装置２０の構成を表したブロック図である。この図２に示すように、制御装置２０は、撮影データ取得部２１と、オブジェクト抽出部２２と、注意喚起対象判別部２３と、注意喚起手段２４と、視線方向計測部２５と、手元状況判定部２６と、記憶部２７とを少なくとも備えている。   FIG. 2 is a block diagram illustrating a configuration of the control device 20. As shown in FIG. 2, the control device 20 includes a photographing data acquisition unit 21, an object extraction unit 22, a warning target determination unit 23, a warning unit 24, a gaze direction measurement unit 25, a hand situation determination It has at least a unit 26 and a storage unit 27.

撮影データ取得部２１は、周囲状況撮影用カメラ１３ａ、１３ｂ、視線方向計測用カメラ１４、手元撮影用カメラ１５のそれぞれから撮影データを取得する機能を有する。   The photographing data acquisition unit 21 has a function of acquiring photographing data from each of the surrounding situation photographing cameras 13a and 13b, the gaze direction measuring camera 14, and the hand photographing camera 15.

オブジェクト抽出部２２は、周囲状況撮影用カメラ１３ａ、１３ｂでの撮影データに基づいて、撮影データに含まれるオブジェクトを抽出する機能を有する。撮影データに含まれるオブジェクトを抽出することができればどのような手法であってもよいが、例えば、画像解析によってオブジェクトを抽出する手法が考えられる。また、画像解析は、撮影データからオブジェクトを抽出することについて予め学習を行った学習済モデルに基づいて撮影データからオブジェクトを抽出する手法であってもよい。全方位撮影カメラとしての周囲状況撮影用カメラ１３ｂでの撮影データからオブジェクトを抽出する手法については、全方位撮影画像から特定方向についての２次元画像データ（通常のカメラと同様の撮影画像データ）を生成してからオブジェクトを抽出するものであってもよいし、全方位撮影画像から直接オブジェクトを抽出するものであってもよい。   The object extracting unit 22 has a function of extracting an object included in the shooting data based on the shooting data of the surrounding situation shooting cameras 13a and 13b. Any method may be used as long as the object included in the photographing data can be extracted. For example, a method of extracting the object by image analysis is conceivable. Further, the image analysis may be a method of extracting an object from photographing data based on a learned model that has learned in advance about extracting an object from photographing data. Regarding a method of extracting an object from photographing data with the surrounding situation photographing camera 13b as an omnidirectional photographing camera, two-dimensional image data in a specific direction from the omnidirectional photographed image (photographed image data similar to a normal camera) is used. An object may be extracted after generation, or an object may be directly extracted from an omnidirectional photographed image.

注意喚起対象判別部２３は、オブジェクト抽出部２２において抽出したオブジェクトについて、ヘルメット装着者に対して注意喚起をすべき対象であるか否かを判別する機能を有する。抽出したオブジェクトについて注意喚起をすべき対象であるか否かを判別することができればどのような手法であってもよいが、例えば、オブジェクト抽出部２２においてオブジェクトを抽出した際に、抽出したオブジェクトが何であるかのタグ情報を付すようにし、注意喚起対象判別部２３においては、オブジェクトに付されたタグ情報に基づいて注意喚起すべきか否かを判定するようにしてもよい。   The attention target determination unit 23 has a function of determining whether the object extracted by the object extraction unit 22 is a target to which the helmet wearer should be alerted. Any method may be used as long as it can determine whether or not the extracted object is a target to be alerted. For example, when the object is extracted by the object extracting unit 22, Tag information indicating what the object is may be added, and the alert target determination unit 23 may determine whether to alert based on the tag information attached to the object.

なお、本例においては、オブジェクト抽出部２２と注意喚起対象判別部２３とを分けて構成したが、これに限定されるものではなく、オブジェクト抽出部２２と注意喚起対象判別部２３とを合わせて１つの構成として、撮影データに対して画像解析を行うことで注意喚起すべき対象としてのオブジェクトのみを抽出するようにしてもよい。具体的には、撮影データから注意喚起対象のオブジェクトのみを抽出することについて予め学習を行った学習済モデルに基づいて撮影データから注意喚起対象のオブジェクトを抽出するといった手法が考えられる。   In the present example, the object extraction unit 22 and the attention target determination unit 23 are configured separately, but the present invention is not limited to this, and the object extraction unit 22 and the attention target determination unit 23 are combined. As one configuration, an image analysis may be performed on the photographing data to extract only an object to be alerted. Specifically, a method of extracting an alert target object from shooting data based on a learned model that has learned in advance about extracting only an alert target object from shooting data can be considered.

注意喚起手段２４は、注意喚起対象判別部２３においてオブジェクトが注意喚起対象と判別された場合に、ヘルメット１０の装着者に対して注意喚起するための手段である。注意喚起手段２４としては、例えば、ＬＥＤ装置２４１、スピーカー装置２４２、振動装置２４３などが考えられ、これらのうちの何れか１つの構成を採用するものであってもよいし、複数の構成を採用するものであってもよい。ＬＥＤ装置２４１は、例えば、ヘルメット１０のつば部１２の装着時の下面側に対して設置することで、ヘルメット１０の装着者がＬＥＤ装置２４１の発光を認識し易いようにすることが好ましい。スピーカー装置２４２は、ヘルメット１０の装着者に対して注意喚起対象のオブジェクトについて詳細に通知する際に有用である。振動装置２４３は、ヘルメット１０の装着者の頭部に振動が伝わるように設置することが好ましい。また、複数の振動装置２４３をヘルメットに所定の等間隔で配置して、注意喚起対象のオブジェクトの位置する方向に一致する振動装置２４３を振動させることで、注意喚起対象の存在を通知するとともに注意喚起対象の方向を通知する構成としてもよい。   The alerting means 24 is a means for alerting the wearer of the helmet 10 when the alerting target determining unit 23 determines that the object is an alerting target. As the alerting means 24, for example, an LED device 241, a speaker device 242, a vibrating device 243, and the like are conceivable, and any one of these configurations may be employed, or a plurality of configurations may be employed. May be used. For example, it is preferable that the LED device 241 be installed on the lower surface side of the helmet 10 when the collar portion 12 is worn, so that the wearer of the helmet 10 can easily recognize the light emission of the LED device 241. The speaker device 242 is useful when notifying the wearer of the helmet 10 of the alert target object in detail. The vibration device 243 is preferably installed so that vibration is transmitted to the head of the wearer of the helmet 10. In addition, a plurality of vibrating devices 243 are arranged on the helmet at predetermined regular intervals, and the vibrating devices 243 corresponding to the direction in which the object to be alerted are located are vibrated, thereby notifying the presence of the alerting object and notifying It may be configured to notify the direction of the arousal target.

視線方向計測部２５は、視線方向計測用カメラ１４による撮影データに基づいて、装着者の視線方向を計測する機能を有する。また、視線方向計測部２５において計測した装着者の視線方向が、注意喚起対象のオブジェクトに対して向いているか否かを判定する機能を持たせるようにしてもよい。視線方向計測用カメラ１４による視線方向が注意喚起すべきオブジェクトの方向を向いていない状況は、装着者が注意喚起対象のオブジェクトを認識していない可能性が高いと判定するということである。   The line-of-sight direction measurement unit 25 has a function of measuring the line-of-sight direction of the wearer based on the data captured by the line-of-sight direction measurement camera 14. Further, a function of determining whether or not the gaze direction of the wearer measured by the gaze direction measurement unit 25 is facing the object to be alerted may be provided. The situation in which the gaze direction of the gaze direction measuring camera 14 is not facing the direction of the object to be alerted means that it is determined that there is a high possibility that the wearer has not recognized the object to be alerted.

手元状況判定部２６は、手元撮影用カメラ１５による撮影データに基づいて、装着者の手元において何らかの作業が行われているか否かの判定を行う機能を有する。装着者の手元において何らかの作業が行われている場合には注意喚起対象に意識が向いていない可能性が高いといった推定を行うための材料として、手元状況判定部２６において判定を行う。また、手元撮影用カメラ１５による撮影データには、手元の状況に加えて、ヘルメット１０の装着者の足元も映ることになるので、手元状況判定部２６において、装着者の足元の状況を判定する機能を備えるようにしてもよい。周囲状況撮影用カメラでは映らない直近の足元の状況を手元状況判定部２６において判定して、注意喚起すべき対象を手元状況判定部２６において発見する構成としてもよい。   The hand situation determination unit 26 has a function of determining whether or not any operation is being performed at the wearer's hand, based on photographing data obtained by the photographing camera 15 at hand. When any operation is performed at the wearer's hand, the hand situation determination unit 26 makes a determination as a material for estimating that it is highly likely that the attention target is not conscious. Further, since the footage of the wearer of the helmet 10 is also reflected in the shooting data of the handheld camera 15 in addition to the situation of the hand, the hand situation determination unit 26 determines the situation of the foot of the wearer. A function may be provided. It is also possible to adopt a configuration in which the hand situation determination unit 26 determines the situation of the latest foot that is not reflected by the surrounding situation shooting camera, and the hand situation determination unit 26 finds a target to be alerted.

記憶部２７は、各部の処理に必要な各種データや、各部における処理の結果として得られたデータを記憶させる機能を有する。例えば、撮影データ取得部２１において取得した撮影データや、オブジェクト抽出部２２及び注意喚起対象判別部２３における抽出結果及び判別結果については、履歴情報としてこの記憶部２７に記憶させるようにしてもよい。また、オブジェクト抽出部２２及び注意喚起対象判別部２３において学習済モデルを用いる場合には、予め学習を行った学習済モデルをこの記憶部２７に記憶させておくようにしてもよい。   The storage unit 27 has a function of storing various data necessary for processing in each unit and data obtained as a result of processing in each unit. For example, the photographing data acquired by the photographing data acquiring unit 21 and the extraction result and the determination result by the object extracting unit 22 and the alert target determining unit 23 may be stored in the storage unit 27 as history information. When a learned model is used in the object extraction unit 22 and the alert target determination unit 23, a learned model that has been learned in advance may be stored in the storage unit 27.

図３は、周囲状況撮影用カメラ１３ａによって撮影された撮影データの一例を表した画像図である。ヘルメット１０に搭載された周囲状況撮影用カメラ１３ａによって、図３に示すような周囲状況が撮影された場合、ヘルメット１０の装着者にとって注意喚起すべき対象として、例えば、重機３０、掘削中の穴４０、マンホール５０、崖６０などが考えられる。また、重機３０のうち、アームの先端３０ａのみを注意喚起対象として認識する必要も考えられる。これらの注意喚起対象として想定されるものをオブジェクト抽出部２２及び注意喚起対象判別部２３を経て注意喚起すべきオブジェクトとして抽出して、装着者に対して注意喚起手段２４によって注意喚起する。また、図３に示す撮影データに対してオブジェクト抽出部２２及び注意喚起対象判別部２３を経て注意喚起すべきオブジェクトを抽出して、そのまま注意喚起を行う構成であってもよいが、複数の注意喚起対象について全て注意喚起を行う構成とすると、場合によっては、装着者にとって煩わしい状況となるおそれがある。そこで、視線方向計測部２５において、装着者の視線方向を計測して、装着者が注意喚起対象のオブジェクトを認識しているか否かを判定するようにし、注意喚起対象のオブジェクトを認識していない可能性の高い場合にのみ注意喚起手段２４によって注意喚起する構成としてもよい。例えば、装着者の視線方向がマンホール５０にのみ向けられていて、アームの先端３０ａの存在を認識していない可能性が高いことを視線方向計測部２５において判定した場合には、アームの先端３０ａの存在について注意喚起するようにする。   FIG. 3 is an image diagram showing an example of photographing data photographed by the surrounding situation photographing camera 13a. When the surrounding situation as shown in FIG. 3 is photographed by the surrounding situation photographing camera 13a mounted on the helmet 10, as a target to be alerted to the wearer of the helmet 10, for example, the heavy equipment 30, a hole during excavation, 40, manhole 50, cliff 60 and the like. In addition, it may be necessary to recognize only the tip 30a of the arm of the heavy equipment 30 as an alert target. These objects to be alerted are extracted as objects to be alerted via the object extracting unit 22 and the alerting object determination unit 23, and alerted to the wearer by the alerting means 24. In addition, an object to be alerted may be extracted from the photographing data shown in FIG. 3 through the object extracting unit 22 and the alerting target determining unit 23 and alerting may be performed as it is. If a configuration is used in which all the alert targets are alerted, the situation may be troublesome for the wearer in some cases. Therefore, the gaze direction measurement unit 25 measures the gaze direction of the wearer to determine whether or not the wearer has recognized the alert target object, and has not recognized the alert target object. It is good also as composition which alerts by alerting means 24 only when there is a high possibility. For example, when the gaze direction measuring unit 25 determines that the gaze direction of the wearer is directed only to the manhole 50 and does not recognize the existence of the arm tip 30a, the arm tip 30a Be alerted about the presence of.

次に、制御装置２０における注意喚起処理の流れについて説明を行う。図４は、制御装置２０における注意喚起処理の流れを示したフローチャート図である。この図４に示す各ステップは、必ずしもこの図４の順序に従って処理される必要はなく、不都合の生じない範囲において適宜入れ替えて実行可能である。   Next, the flow of the alerting process in the control device 20 will be described. FIG. 4 is a flowchart illustrating the flow of the alerting process in the control device 20. The steps shown in FIG. 4 do not necessarily have to be processed in the order shown in FIG. 4, and can be executed by appropriately replacing each other as long as no inconvenience occurs.

図４に示すように、注意喚起処理は、撮影データを取得することによって処理が開始される（Ｓ１０１）。ここで取得される撮影データは、周囲状況撮影用カメラ１３ａ又は１３ｂによる撮影データと、視線方向計測用カメラ１４による撮影データを少なくとも含むものとする。また、これに加えて、手元撮影用カメラ１５による撮影データを取得するようにしてもよい。取得した周囲状況撮影用カメラ１３ａ又は１３ｂによる撮影データから、オブジェクトを抽出する（Ｓ１０２）。そして、抽出したオブジェクトが注意喚起対象であるか否かを判別する（Ｓ１０３）。抽出したオブジェクトが注意喚起対象ではない場合（Ｓ１０３−Ｎ）には、処理を終了する。抽出したオブジェクトが注意喚起対象であった場合（Ｓ１０３−Ｙ）には、ステップＳ１０４へ移行する。   As shown in FIG. 4, the alerting process is started by acquiring photographing data (S101). It is assumed that the photographing data acquired here includes at least photographing data by the surrounding situation photographing camera 13a or 13b and photographing data by the gaze direction measuring camera 14. In addition, photographing data from the camera 15 at hand may be acquired. An object is extracted from the acquired shooting data by the surrounding situation shooting camera 13a or 13b (S102). Then, it is determined whether or not the extracted object is an alert target (S103). If the extracted object is not the alert target (S103-N), the process ends. If the extracted object is the alert target (S103-Y), the process proceeds to step S104.

次に、ヘルメット装着者の視線方向を計測する（Ｓ１０４）。視線方向計測用カメラ１４による撮影データに映るヘルメット装着者の眼球の動きを含む表情からヘルメット装着者の視線方向を特定する。そして、ヘルメット装着者の視線方向と、注意喚起対象であるオブジェクトの位置とに基づいて、ヘルメット装着者が注意喚起対象のオブジェクトを認識していない可能性が高いか否かを判定する（Ｓ１０５）。なお、判定に際しては、手元撮影用カメラ１５による撮影データを判断材料に加えるようにしてもよい。ヘルメット装着者が注意喚起対象のオブジェクトを認識している可能性の方が高い場合（Ｓ１０５−Ｎ）には、処理を終了する。ヘルメット装着者が注意喚起対象のオブジェクトを認識していない可能性が高い場合（Ｓ１０５−Ｙ）には、注意喚起手段を用いてヘルメット装着者に対する注意喚起を実行（Ｓ１０６）して、処理を終了する。   Next, the gaze direction of the helmet wearer is measured (S104). The gaze direction of the helmet wearer is specified from the expression including the movement of the helmet wearer's eyeball reflected in the data captured by the gaze direction measurement camera 14. Then, based on the gaze direction of the helmet wearer and the position of the object to be alerted, it is determined whether there is a high possibility that the helmet wearer has not recognized the object to be alerted (S105). . Note that, at the time of the determination, the data captured by the hand-held camera 15 may be added to the determination material. If it is more likely that the helmet wearer has recognized the alert target object (S105-N), the process ends. If there is a high possibility that the helmet wearer has not recognized the object to be alerted (S105-Y), the helmet wearer is alerted using the alerting means (S106), and the process ends. I do.

以上のように、本例のヘルメット１０によれば、装着者の周囲の状況を撮影するための周囲状況撮影用カメラと、装着者の視線方向を計測するための撮影を行う視線方向計測用カメラとを備えるようにしたので、装着者の周辺状況の撮影データと、装着者の視線方向を計測するための撮影データを同時に取得することが可能となる。また、装着者の手元方向を撮影するための手元撮影用カメラを備えさせることで、装着者の手元の作業状況等を判別するための撮影データについても同時に取得することが可能となる。   As described above, according to the helmet 10 of the present embodiment, a camera for photographing the surrounding situation for photographing the situation around the wearer, and a camera for measuring the gaze direction for photographing for measuring the gaze direction of the wearer Therefore, it is possible to simultaneously acquire the photographing data of the situation around the wearer and the photographing data for measuring the gaze direction of the wearer. In addition, by providing a hand-held camera for shooting in the hand direction of the wearer, it is possible to simultaneously acquire shooting data for determining the work status and the like of the wearer's hand.

また、本例のヘルメット１０によれば、周囲状況撮影用カメラによる撮影画像に対して所定の画像解析を適用することで装着者の周囲に存在するオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部において抽出したオブジェクトのうち装着者に注意喚起すべきオブジェクトを判別する注意喚起対象判別部と、前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別した場合に、装着者に対して注意喚起を行うための注意喚起手段とを備えるようにしたので、周囲状況撮影用カメラによる撮影画像に基づいて注意喚起すべきオブジェクトを抽出して、装着者に注意喚起を実行することが可能となる。また、注意喚起対象判別部において注意喚起すべきオブジェクトを判別し、かつ、視線方向計測用カメラによる撮影データから計測した装着者の視線方向が注意喚起すべきオブジェクトの方向を向いていない場合に、装着者に対して注意喚起を行うようにすることで、注意喚起の必要性が高い状況において注意喚起を実行することが可能となる。   Further, according to the helmet 10 of the present example, an object extraction unit that extracts an object existing around the wearer by applying a predetermined image analysis to an image captured by the surrounding situation imaging camera; A reminder target discriminating part for discriminating an object to be alerted to the wearer among the objects extracted in the part, and a reminder to the wearer when the alerting target discriminating part determines the object to be alerted. Is provided, the object to be alerted can be extracted based on the image captured by the surrounding situation imaging camera, and the wearer can be alerted. In addition, when the object to be alerted is determined in the alerting target determination unit, and the gaze direction of the wearer measured from the shooting data by the gaze direction measuring camera is not facing the direction of the object to be alerted, By causing the wearer to be alerted, it is possible to execute alerting in a situation where the need for alerting is high.

なお、上記の説明においては、本発明に係るヘルメット１０に対して制御装置２０を搭載する場合を例として説明を行ったが、必ずしもこれに限定されるものではない。例えば、ヘルメット１０に通信機能を備えさせ、ヘルメット１０と通信可能な他の端末、例えば、親機に対して制御装置２０を搭載するようにし、親機に対してヘルメット１０で撮影した撮影データを送信して、親機において注意喚起をすべきか否かの判定処理を行うようにし、注意喚起が必要な場合に通信機能を介してヘルメット１０に信号を送信して注意喚起を行う構成であってもよい。   In the above description, the case where the control device 20 is mounted on the helmet 10 according to the present invention has been described as an example, but the present invention is not necessarily limited to this. For example, the helmet 10 is provided with a communication function, and another terminal capable of communicating with the helmet 10, for example, the control device 20 is mounted on the master unit. It is configured to transmit and perform a process of determining whether or not the parent device should be alerted, and send a signal to the helmet 10 via the communication function to alert when the alert is required. Is also good.

また、上記の実施の形態においては、周囲状況撮影用カメラ１３ａ又は１３ｂによる撮影画像に対してオブジェクト抽出を実行し、抽出したオブジェクトのうち装着者に注意喚起すべきオブジェクトを判別した場合に装着者に注意喚起を行う構成としていたが、これに限定されるものではなく、手元撮影用カメラ１５による撮影画像に対して、オブジェクト抽出部２２によるオブジェクトの抽出と、注意喚起対象判別部２３による注意喚起すべきオブジェクトの判別を実行させ、注意喚起すべきオブジェクトを判別した場合に装着者に注意喚起手段２４によって注意喚起を行う構成であってもよい。手元撮影用カメラ１５には、装着者の手元画像の他、足元の先に存在するオブジェクトも映り込むため、手元や足元に存在する注意喚起対象を手元撮影用カメラ１５によって撮影することができるため、オブジェクト抽出部２２による処理を行う意味がある。また、当然ながら、周囲状況撮影用カメラ１３ａ又は１３ｂによる撮影画像と、手元撮影用カメラ１５による撮影画像との両方に対して、オブジェクト抽出部２２によるオブジェクトの抽出と、注意喚起対象判別部２３による注意喚起すべきオブジェクトの判別を実行させる構成であってもよい。   In the above-described embodiment, the object extraction is performed on the image captured by the surrounding situation photographing camera 13a or 13b, and when the object to be alerted to the wearer among the extracted objects is determined, However, the present invention is not limited to this. The object is extracted by the object extracting unit 22 from the image captured by the hand-held camera 15 and the alert is generated by the alerting target determining unit 23. A configuration may be adopted in which the determination of the object to be performed is performed, and the wearer is warned by the warning means 24 when the object to be warned is determined. In addition to the image of the wearer's hand, the object existing at the tip of the foot is also reflected on the hand-held camera 15, so that the attention target existing at the hand or foot can be photographed by the hand-held camera 15. , Meaning that the processing by the object extracting unit 22 is performed. Naturally, the object extraction unit 22 extracts an object and the alert target determination unit 23 extracts both an image captured by the surrounding situation capturing camera 13 a or 13 b and an image captured by the hand-held camera 15. A configuration in which the determination of an object to be alerted may be performed.

上記の実施の形態においては、視線方向計測用カメラ１４をヘルメット１０のつば部１２に設ける例を用いて説明を行ったが、これに限定されるものではなく、装着者の視線方向を撮影可能な構成であればどのような構成であってもよい。例えば、視線方向計測用カメラ１４をヘルメット１０の側頭部に設け、つば部１２にはミラーを設け、視線方向計測用カメラ１４の撮影方向とミラーの設置位置及び設置角度を調整することで、当該ミラーに映る装着者の目を含む顔の表情を視線方向計測用カメラ１４によって撮影するようにしてもよい。このような構成としても、上記の実施の形態と同様の効果が得られる。   In the above embodiment, the description has been made using the example in which the gaze direction measuring camera 14 is provided on the collar portion 12 of the helmet 10, but the present invention is not limited to this, and the gaze direction of the wearer can be photographed. Any configuration may be used as long as the configuration is appropriate. For example, the gaze direction measuring camera 14 is provided on the side of the helmet 10, the mirror is provided on the collar portion 12, and the shooting direction of the gaze direction measuring camera 14 and the installation position and the installation angle of the mirror are adjusted. The facial expression including the eyes of the wearer reflected on the mirror may be photographed by the gaze direction measuring camera 14. With such a configuration, the same effect as in the above embodiment can be obtained.

１０ ヘルメット
１１ 頭部被覆部材
１２ つば部
１３ａ、１３ｂ 周囲状況撮影用カメラ
１４ 視線方向計測用カメラ
１５ 手元撮影用カメラ
２０ 制御装置
２１ 撮影データ取得部
２２ オブジェクト抽出部
２３ 注意喚起対象判別部
２４ 注意喚起手段
２４１ ＬＥＤ装置
２４２ スピーカー装置
２４３ 振動装置
２５ 視線方向計測部
２６ 手元状況判別部
２７ 記憶部
３０ 重機
３０ａ 重機のアームの先端
４０ 穴
５０ マンホール
６０ 崖 DESCRIPTION OF SYMBOLS 10 Helmet 11 Head covering member 12 Collar part 13a, 13b Camera for photographing surrounding conditions 14 Camera for gaze direction measurement 15 Camera for hand-held photographing 20 Control device 21 Photographing data acquisition unit 22 Object extraction unit 23 Attention discrimination unit 24 Attention Means 241 LED device 242 Speaker device 243 Vibration device 25 Eye gaze direction measuring unit 26 Hand situation determination unit 27 Storage unit 30 Heavy machine 30a Tip of heavy machine arm 40 hole 50 Manhole 60 Cliff

Claims (6)

人の頭部に装着させるヘルメットであって、
装着者の周囲の状況を撮影するための周囲状況撮影用カメラと、
装着者の視線方向を計測するための撮影を行う視線方向計測用カメラと
を備えるヘルメット。 A helmet worn on the head of a person,
A camera for photographing the surrounding situation for photographing the situation around the wearer;
A helmet comprising: a gaze direction measuring camera that performs photographing to measure the gaze direction of the wearer. 装着者の手元を撮影するための手元撮影用カメラを備えた
請求項１記載のヘルメット。 The helmet according to claim 1, further comprising a camera for photographing the hand of the wearer. 視線方向計測用カメラは、概略半球状の頭部被覆部材の装着時前方側に設けられたつば部に対して設置され、装着者の目を含む顔を撮影するように撮影方向を定めてある
請求項１又は請求項２に記載のヘルメット。 The gaze direction measuring camera is installed with respect to the brim portion provided on the front side when the substantially hemispherical head covering member is mounted, and determines a shooting direction so as to shoot a face including the eyes of the wearer. The helmet according to claim 1 or 2. 前記周囲状況撮影用カメラによる撮影画像に対して所定の画像解析を適用することで装着者の周囲に存在するオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部において抽出したオブジェクトのうち装着者に注意喚起すべきオブジェクトを判別する注意喚起対象判別部と、
前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別した場合に、装着者に対して注意喚起を行うための注意喚起手段と
を備える
請求項１から請求項３の何れかに記載のヘルメット。 An object extraction unit that extracts objects existing around the wearer by applying a predetermined image analysis to an image captured by the surrounding situation imaging camera,
An alerting target determining unit that determines an object to alert the wearer among the objects extracted by the object extracting unit;
The helmet according to any one of claims 1 to 3, further comprising: an alerting unit that alerts the wearer when the alerting target determination unit determines an object to alert. 前記手元撮影用カメラによる撮影画像に対して所定の画像解析を適用することで装着者の手元、足元に存在するオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部において抽出したオブジェクトのうち装着者に注意喚起すべきオブジェクトを判別する注意喚起対象判別部と、
前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別した場合に、装着者に対して注意喚起を行うための注意喚起手段と
を備える
請求項２に記載のヘルメット。 An object extraction unit that extracts an object existing at the wearer's hand and feet by applying a predetermined image analysis to an image captured by the hand camera.
An alerting target determining unit that determines an object to alert the wearer among the objects extracted by the object extracting unit;
The helmet according to claim 2, further comprising: an alerting unit that alerts the wearer when the alerting target determination unit determines an object to alert. 前記注意喚起手段は、前記注意喚起対象判別部において注意喚起すべきオブジェクトを判別し、かつ、前記視線方向計測用カメラによる撮影データから計測した装着者の視線方向が前記注意喚起すべきオブジェクトの方向を向いていない場合に、装着者に対して注意喚起を行うようにした
請求項４又は請求項５に記載のヘルメット。 The alerting means determines an object to be alerted in the alerting target determination unit, and the direction of the line of sight of the wearer measured from the photographing data by the eye-gaze direction measuring camera is the direction of the object to alert. The helmet according to claim 4 or 5, wherein a warning is given to the wearer when the helmet is not facing.
JP2018125119A 2018-06-29 2018-06-29 Helmet Active JP7359532B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018125119A JP7359532B2 (en) 2018-06-29 2018-06-29 Helmet

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018125119A JP7359532B2 (en) 2018-06-29 2018-06-29 Helmet

Publications (2)

Publication Number Publication Date
JP2020002514A true JP2020002514A (en) 2020-01-09
JP7359532B2 JP7359532B2 (en) 2023-10-11

Family

ID=69099141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018125119A Active JP7359532B2 (en) 2018-06-29 2018-06-29 Helmet

Country Status (1)

Country Link
JP (1) JP7359532B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113080561A (en) * 2021-04-01 2021-07-09 呼伦贝尔安泰热电有限责任公司扎兰屯热电厂 Nearly electric induction audible and visual alarm safety helmet
WO2021235366A1 (en) * 2020-05-20 2021-11-25 ヤマハ発動機株式会社 Line-of-sight detecting device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000355820A (en) * 1999-06-11 2000-12-26 Honda Motor Co Ltd Alarm system for two-wheeled vehicle
JP2004280545A (en) * 2003-03-17 2004-10-07 Tsubasa System Co Ltd Method for confirming quality of dwelling house
JP2005172851A (en) * 2003-12-05 2005-06-30 Sony Corp Image display apparatus
JP2010185155A (en) * 2009-02-13 2010-08-26 Tanizawa Seisakusho Ltd Helmet with index-projecting means
US20160075338A1 (en) * 2014-09-16 2016-03-17 Robert Bosch Gmbh Safety device for motorcycle riders and method for operating a safety device for motorcycle riders
JP2016091055A (en) * 2014-10-29 2016-05-23 株式会社デンソー On-vehicle alerting system, and notification control device
WO2016143759A1 (en) * 2015-03-06 2016-09-15 株式会社 脳機能研究所 Emotion estimating device and emotion estimating method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000355820A (en) * 1999-06-11 2000-12-26 Honda Motor Co Ltd Alarm system for two-wheeled vehicle
JP2004280545A (en) * 2003-03-17 2004-10-07 Tsubasa System Co Ltd Method for confirming quality of dwelling house
JP2005172851A (en) * 2003-12-05 2005-06-30 Sony Corp Image display apparatus
JP2010185155A (en) * 2009-02-13 2010-08-26 Tanizawa Seisakusho Ltd Helmet with index-projecting means
US20160075338A1 (en) * 2014-09-16 2016-03-17 Robert Bosch Gmbh Safety device for motorcycle riders and method for operating a safety device for motorcycle riders
CN105411072A (en) * 2014-09-16 2016-03-23 罗伯特·博世有限公司 Safety Device For Motorcycle Riders And Method For Operating A Safety Device For Motorcycle Riders
JP2016091055A (en) * 2014-10-29 2016-05-23 株式会社デンソー On-vehicle alerting system, and notification control device
WO2016143759A1 (en) * 2015-03-06 2016-09-15 株式会社 脳機能研究所 Emotion estimating device and emotion estimating method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235366A1 (en) * 2020-05-20 2021-11-25 ヤマハ発動機株式会社 Line-of-sight detecting device
JPWO2021235366A1 (en) * 2020-05-20 2021-11-25
WO2021234832A1 (en) * 2020-05-20 2021-11-25 ヤマハ発動機株式会社 Eye tracking device
AU2021274269B2 (en) * 2020-05-20 2023-09-28 Yamaha Hatsudoki Kabushiki Kaisha Line-of-sight detecting device
CN113080561A (en) * 2021-04-01 2021-07-09 呼伦贝尔安泰热电有限责任公司扎兰屯热电厂 Nearly electric induction audible and visual alarm safety helmet

Also Published As

Publication number Publication date
JP7359532B2 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
JP7119442B2 (en) Monitoring system, monitoring method and monitoring program
JP2010081480A (en) Portable suspicious individual detecting apparatus, suspicious individual detecting method, and program
JP2010081480A5 (en)
KR102185224B1 (en) Helmet for monitoring worker and working environment and work site monitoring system using it
US11911853B2 (en) Welding information providing apparatus with function of sensing environment
JP2013203103A (en) Display device for vehicle, control method therefor, and program
JP2010185155A (en) Helmet with index-projecting means
CN111614919B (en) Image recording device and head-mounted display
KR101751032B1 (en) User environment dangers detection apparatus using image sensor
JP2018067773A (en) Imaging device, control method thereof, program, and storage medium
JP2020002514A (en) Helmet
JP2013008307A (en) Surroundings monitoring device for pedestrian
JP2017061026A (en) Robot control device, robot control method, robot system and computer program
JP5895792B2 (en) Work assistance system and program
JP2018104934A (en) Displacement monitoring system for tunnel working surface
JP2016194742A (en) Self-propelled electronic apparatus
JP6720010B2 (en) Information processing apparatus, information processing method, and program
US11137600B2 (en) Display device, display control method, and display system
KR101366349B1 (en) Guard equipment with video system
JP2012114755A (en) Head-mounted display and computer program
TW201710834A (en) Surveillance system and wearable device using the same
JP2022122936A (en) Information display system
KR20220135396A (en) Device and method for detecting whether workers wear protective equipment
JP6581280B1 (en) Monitoring device, monitoring system, monitoring method, monitoring program
KR20180055599A (en) Safety managing system for worker

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210611

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230928

R150 Certificate of patent or registration of utility model

Ref document number: 7359532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150